Бристольдегі AI-болжаушылардың сәтсіздігі: балалар үшін тәуекелді бағалау алгоритмдері өлімге әкелетін қателіктерге байланысты өшірілді
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің кемінде екі моделін қолдануды тоқтатты. Себеп — болжамдардың өте төмен дәлдігі және тәуелсіз аудитке іс жүзінде көнбейтін жүйелердің толық мөлдірсіздігі.
Liberty Investigates құқық қорғау тобы, жергілікті Bristol Cable басылымы және коммерциялық емес Lighthouse Reports редакциясының қатысуымен жүргізілген журналистік тергеу осы алгоритмдердің жұмысындағы жүйелік проблемаларды анықтады. Ішкі құжаттардың жүздеген беттерін талдау Think Family Database дерекқоры негізінде құрылған модельдердің түбегейлі кемшіліктерден зардап шеккенін көрсетті.
Деректер қалай жиналды және модельдер қалай құрылды
2016 жылы іске қосылған Think Family Database Бристоль тұрғындары туралы полициялық және әлеуметтік деректерді біріктірді. Оған тұрғын үй мәртебесі, психикалық денсаулық, жасөспірімдер жүктілігі, мектепке бару және тіпті тегін тамақ алу туралы мәліметтер кірді. Айта кету керек, деректер азаматтардың тікелей келісімінсіз, ведомствоаралық ақпарат алмасу үшін құқықтық негіздерді пайдалана отырып жиналды. Полицияның деректер жөніндегі мамандарының бірі бұл процесті «бәрін үлкен шелекке салу» деп циниктік түрде сипаттады.
Осы тұрақсыз негізде машиналық оқытудың 23 моделі құрылды, олар ересектер мен балаларға тәуекел бағаларын — тонау болжамынан бастап тұрмыстық зорлық-зомбылық құрбаны болу ықтималдығына дейін тағайындады. Сонымен қатар, аға офицерлердің бірінің айтуынша, ең қауіпті қылмыскерлердің «турнирлік кестесінің» негізі болған Offender Management App қосымшасы жұмыс істеді.
Модельдер неге сәтсіздікке ұшырады
Негізгі мәселе деректердің сапасында болды. Балаларға қарсы қылмыстардың қаупін бағалауға арналған модельдердің бірі осындай қылмыстардан зардап шеккен 1000 бала туралы Barnardo's қайырымдылық ұйымының жеке деректерін пайдаланды. Алайда 2016 жылы полицияның этикалық комитеті көмекке мұқтаж бала мәртебесі немесе психикалық денсаулық проблемалары сияқты таңдалған айнымалыларға байланысты алгоритмдік біржақтылықтың сөзсіздігі туралы ескерткен болатын.
Кейінірек Social Finance коммерциялық емес ұйымы жүргізген аудит ең нашар қорқыныштарды растады. Тәуекелді бағалау ең әлсіз элемент деп аталды, ал төмен дәлдік модельдердің практикалық құндылығын төмендететін фактор болды. Тексеру кезінде балаларға қарсы қылмыстардың қаупін бағалаудың екі моделі өшірілген болатын.
Social Finance модельдер сапасының нашарлауын деректер жиынтығының өзгеруімен байланыстырды. Полиция тәсілді бүкіл Эйвон және Сомерсет аймағына таратуға тырысты, бірақ барлық жергілікті кеңестермен деректер алмасу туралы келісе алмады. Нәтижесінде модельдер әлеуметтік көрсеткіштерден айырылып, таза полициялық «ядроға» айналды, бұл олардың дәлдігін одан әрі төмендетті.
Жүйелердің толық мөлдірсіздігі ерекше алаңдаушылық тудырады. Тәуелсіз аудиторлар модельдерде қолданылған бастапқы кодты да, айнымалылар тізімін де таба алмады. Оның үстіне, 2023 жылдың маусымына қарай полиция да, Бристоль қалалық кеңесі де балаларға қарсы қылмыстардың қаупін бағалаудың екі моделінен бас тарту туралы шешім қабылдау құжаттарын сақтамаған.
Тәуелсіз аудит нәтижелері
WIRED журналистері полициядан 2017-2024 жылдары қолданылған немесе сыналған 13 модель бойынша 36 000-нан астам өнімділік бағасын алды. Eticas компаниясы жүргізген аудит көптеген модельдердің оң нәтижелерінің дәлдігі өте төмен екенін көрсетті. Жүйе адамдардың едәуір бөлігін қате түрде қауіпті деп белгілеген.
Мысалы, әлеуетті тонаушыларды анықтауға арналған модель үш жылдан астам уақыт бойы оң нәтижелердің дәлдігі 10%-дан төмен болды. Бұл жүйе белгілеген әрбір оныншы адамның біреуі ғана мұндай қылмыс жасағанын білдіреді. Аудиторлар мұндай көрсеткіштер операциялық қолданыстағы жақсы басқарылатын модельдерге тән емес екенін атап өтті.
PoliceAI кеңеюі аясындағы оқиға
Бұл оқиға PoliceAI — Англия мен Уэльстегі 43 полиция басқармасында ЖИ құралдарын сынау және масштабтау үшін үш жылға 75 миллион фунт стерлинг бюджеті бар ұлттық орталықтың іске қосылуы аясында өрбуде. Айта кету керек, орталықты даулы ЖИ-аналитиканы дамытқан дәл сол аймақтың — Эйвон және Сомерсет полициясының бұрынғы бас констеблі Энди Марш басқарады.
Бристоль оқиғасы — бұл жай техникалық қате туралы әңгіме емес. Бұл модельдердің тәуекелдері алгоритмдердің дәлдігімен ғана емес, сонымен қатар деректердің сапасымен, құжаттаманы сақтаумен және тәуелсіз тексеру мүмкіндігімен байланысты екенін көрсететін жүйелік сәтсіздік.
Сарапшы пікірі: Бұл жағдай — құқық қорғау саласындағы технологиялық инновацияларға ұмтылу деректер сапасы мен алгоритмдердің ашықтығын тиісті бақылаусыз апатқа әкелуі мүмкін екенінің классикалық мысалы. Біржақты немесе толық емес деректерге үйретілген ЖИ-модельдер жай пайдасыз емес — олар қауіпті, өйткені жалған айыптаулар тудырып, әділет жүйесіне деген сенімді жоя алады. Бристольдің сәтсіздігі әлеуметтік маңызды салаларға ЖИ-ді соқыр енгізетіндердің барлығына ескерту болуы керек.