Бристольдік сәтсіздік: балаларға қарсы қылмыстардың қаупін бағалауға арналған AI модельдері өлімге әкелетін қателіктерге байланысты өшірілді
Бристоль билігі мен Эйвон және Сомерсет графтықтарының полициясы балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің кемінде екі моделін пайдалануды тоқтатуға мәжбүр болды. Себеп — алгоритмдердің апатты төмен дәлдігі және толық мөлдірсіздігі, тәуелсіз аудиторлар бастапқы код пен айнымалылар тізімінің жоқтығынан оларды тексере алмады.
Жүйе қалай жұмыс істеді және неге істен шықты
Негізінде 2016 жылы Бристоль қалалық кеңесі іске қосқан Think Family Database дерекқоры жатыр. Ол полиция есептері мен әлеуметтік деректерді — тұрғын үй мәртебесі мен психикалық денсаулық мәселелерінен бастап мектепке бармау және тегін тамақтану туралы ақпаратқа дейін біріктірді. Бағалау бойынша, дерекқорда 500 000-ға жуық тұрғынның жазбалары болуы мүмкін, ал деректерді жинау азаматтардың тікелей келісімінсіз, мемлекеттік құрылымдар арасында ақпарат алмасу туралы заңды нормалар негізінде жүргізілді.
Осы дерекқор негізінде ұрлықты болжау, сотқа келмеу және тұрмыстық зорлық-зомбылық қаупін қоса алғанда, машиналық оқытудың 23 моделі құрылды. Алайда балаларға төнетін қауіпті бағалауға арналған модельдер ең осал болып шықты. Оларға полиция мен муниципалдық деректерден басқа, Barnardo's қайырымдылық ұйымының қылмыс құрбаны болған 1000 бала туралы жеке деректері жүктелген. Қорытынды скорингке көмекке мұқтаж бала мәртебесі, мектепке созылмалы түрде бармау және психикалық бұзылулар сияқты факторлар әсер етті.
2016 жылдың өзінде полицияның этикалық комитеті таңдалған айнымалыларға байланысты алгоритмдік біржақтылық қаупі туралы ескерткен болатын. Кейінірек Social Finance консалтингтік ұйымы жүргізген аудит ең нашар қауіптерді растады: модельдердің дәлдігі «ең әлсіз буын» деп танылып, олардың практикалық құндылығы күмәнді деп бағаланды. Тексеру кезінде екі модель де өшірілген болатын.
Деректермен проблемалар және бақылаудың болмауы
Social Finance модельдер сапасының нашарлауын деректер жиынтығының өзгеруімен байланыстырды. Жүйені бүкіл Эйвон және Сомерсет аймағына кеңейтуге тырысқанда, полиция барлық жергілікті кеңестермен деректер алмасу туралы келісе алмады. Нәтижесінде модельдерден әлеуметтік индикаторлар жоғалып, алгоритмдер негізінен «полициялық ядрода» жұмыс істей бастады, бұл оларды одан да сенімсіз етті.
Бристоль қалалық қызметтерінің қызметкерлері осал балалардың нәтижелерге енбейтініне шағымданды. Есептердің бірінде жақында қылмыс құрбаны болған кәмелетке толмағандар ұрлық істеріне қатысушыларға қарағанда тәуекелдің төмен ұпайын алуы мүмкін екендігі атап өтілді. Басқа қызметкерлер әдістеменің толық мөлдірсіздігіне байланысты бағалауларға сүйенуге дайын еместіктерін ашық айтты.
Eticas компаниясы 13 модель бойынша 36 000 өнімділік бағалауы негізінде жүргізген жеке аудит көпшілігінің оң сәйкестік дәлдігі өте төмен екенін көрсетті. Мысалы, әлеуетті ұрыларды анықтауға арналған модель үш жылдан астам уақыт бойы 10%-дан төмен дәлдікті көрсетті — яғни жүйе адамдардың 90%-дан астамын қателесіп тәуекел деп белгілеген. Полиция мұны модель енгізілмегенімен, бағалаулар «статикалық файлды» автоматты тексеру нәтижесі екендігімен түсіндірді.
Контекст және менің сараптамам
Бұл оқиға Англия мен Уэльстің 43 полиция басқармасына ЖИ құралдарын кеңейтуге арналған 75 миллион фунт стерлинг бюджеті бар PoliceAI ұлттық орталығының іске қосылуы аясында орын алып отыр. Бұл орталықты дәл осы сәтсіздік болған Эйвон және Сомерсет полициясының бұрынғы бас констеблі басқаратыны айтарлықтай.
Менің кәсіби пікірім: Бристоль тарихы — бұл балаларды қорғау сияқты маңызды салаларға ЖИ-ді енгізуге асығудың технологияның өзін күйретуге әкелетінінің классикалық мысалы. Мұндағы мәселе «жаман» ЖИ-де емес, деректерді басқарудағы жүйелік қателікте: репрезентативті емес іріктемелерді пайдалану, ашықтықтың болмауы және бастапқы айнымалылар сапасын бақылаудың жоқтығы. Егер PoliceAI бұл сабақтарды ескермесе, ол тиімділікті емес, жүйелік қателіктерді бүкіл елге тарату қаупіне ұшырайды.