Бристольдік жасанды интеллект жанжалы: Полиция балаларға арналған тәуекел модельдерін дәлсіздігіне байланысты өшірді
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің кемінде екі моделін қолдануды тоқтатты. Себебі — болжамдардың өте төмен дәлдігі және алгоритмдердің мүлдем мөлдірсіздігі. Тәуелсіз аудиторлар бастапқы код пен қолданылатын айнымалылар тізімінің жоқтығына тап болды, бұл нәтижелерді тексеруді мүмкін емес етеді.
Менің талдауым көрсеткендей, бұл жағдай жекелеген ақау емес, құқық қорғау органдарына ЖИ енгізудің жүйелік мәселесі болып табылады. Модельдер «қара жәшікке» айналғанда, олар тек практикалық құндылығын жоғалтып қана қоймай, сонымен қатар беделдік және құқықтық тәуекелдерге де ұшыратады.
Think Family Database: Келісімсіз деректер жинау
Сәтсіз модельдердің негізінде 2016 жылы іске қосылған Think Family Database дерекқоры жатыр. Ол Бристольдің 500 000-ға жуық тұрғыны туралы ақпаратты жинақтап, полиция есептерін, әлеуметтік қызметтерді, тұрғын үй, психикалық денсаулық, жасөспірімдер жүктілігі, мектептен қалу және тіпті тегін тамақ алу фактілері туралы деректерді біріктірді. Негізгі сәт: жинау азаматтардың тікелей келісімінсіз, мемлекеттік органдар арасында деректер алмасу туралы заңды нормалар негізінде жүргізілді. Полицияның деректер жөніндегі мамандарының бірі бұл процесті «бәрін үлкен шелекке салу» деп циникалық сипаттады.
Осы дерекқор негізінде кемінде 23 түрлі машиналық оқыту моделі құрылды — ұрлықты болжаудан бастап, тұрмыстық зорлық-зомбылық құрбаны болу қаупін бағалауға дейін. Сонымен қатар, аға офицердің айтуынша, ең қауіпті қылмыскерлердің «турнирлік кестесінің» негізі ретінде қызмет ететін Offender Management App қосымшасы жұмыс істеді.
Модельдер неге сәтсіздікке ұшырады
Балаларға қарсы қылмыстардың қаупін бағалауға арналған алғашқы модельдердің бірі полиция, қалалық кеңес деректерін және тіпті Barnardo's қайырымдылық ұйымының осындай қылмыстардан зардап шеккен 1000 бала туралы жеке емес мәліметтерін пайдаланды. Скорингке көмекке мұқтаж баланың мәртебесі, мектептен үнемі қалу және психикалық денсаулық проблемалары сияқты факторлар әсер етті.
2016 жылдың өзінде полицияның этикалық комитеті алгоритмдік біржақтылықтың жоғары қаупі туралы ескерткен болатын. Кейінірек Social Finance коммерциялық емес ұйымы жүргізген аудит ең нашар қауіптерді растады: тәуекел-скоринг жүйенің ең әлсіз элементі деп танылды. Төмен дәлдік модельдердің практикалық құндылығын толығымен жойды. Тексеру кезінде олардың екеуі өшірілген болатын.
Мәселенің түбірі — деректердің деградациясында. Эйвон және Сомерсеттің бүкіл аймағына көзқарасты кеңейтуге тырысқанда, полиция барлық жергілікті кеңестермен деректер алмасу туралы келісе алмады. Нәтижесінде модельдер маңызды әлеуметтік көрсеткіштерден айырылып, адекватты суретті бере алмайтын «полициялық өзекпен» қалды. Қалалық қызметтердің қызметкерлері осал балалардың нәтижелерге енбейтініне, ал кәмелетке толмаған қылмыс құрбандары ұрлық істеріне қатысты адамдарға қарағанда төменірек балл алатынына шағымданды.
Eticas аудиті: Дәлдік 10%-дан төмен
Журналистер 2017-2024 жылдар аралығындағы 13 модель бойынша 36 000-нан астам өнімділік бағасын алды. Eticas аудиторлық компаниясы жүргізген талдау апатты жағдайды анықтады: модельдердің көпшілігінде оң сәйкестіктердің дәлдігі төмен болды. Жүйе адамдардың едәуір бөлігін қателесіп қауіпті деп белгіледі.
Әсіресе, әлеуетті ұрыларды анықтау моделінің мысалы көрсеткішті. Үш жылдан астам уақыт бойы оның оң сәйкестіктерінің дәлдігі 10%-дан төмен болды. Бұл ЖИ қауіп деп белгілеген әрбір оныншы адамның ғана мұндай қылмыс жасағанын білдіреді. Аудиторлар мұндай көрсеткіштердің жақсы басқарылатын, операциялық қолданыстағы модельдерге мүлдем тән емес екенін атап өтті.
Полиция ақталуға тырысып, ұрлық құралын қоса алғанда, модельдердің бір бөлігі енгізілмегенін, ал көпжылдық бағалар жойылмаған статикалық файлды автоматты тексерудің нәтижесі екенін мәлімдеді. Бристоль қалалық кеңесі қазіргі уақытта NEET тәуекел моделін (баланың мектептен кейін оқымау немесе жұмыс істемеу ықтималдығын бағалау) ғана қолданатынын мойындады, бірақ оның кәсіби пікірді алмастырмайтынын талап етеді.
Контекст: PoliceAI және жүйелік тәуекелдер
Бұл жанжал Англия мен Уэльстің барлық 43 полиция басқармасында ЖИ-ді кеңейту үшін үш жылға 75 миллион фунт стерлинг бөлінген PoliceAI ұлттық орталығының іске қосылуы аясында өрбіп отыр. Тағдырдың кекесіні: орталықты дәл осы тәуекел-модельдері сәтсіздікке ұшыраған аймақтың бұрынғы бас констеблі Энди Марш басқарады.
Сарапшылық пікір: Бристольдің ісі — бұл жай ғана нашар код туралы әңгіме емес. Бұл балаларды қорғау сияқты маңызды салаларға ЖИ енгізу тек жетілдірілген алгоритмдерді ғана емес, сонымен қатар деректерді мінсіз басқаруды, әдіснаманың абсолютті мөлдірлігін және міндетті тәуелсіз аудитті талап ететінінің айқын көрінісі. Осы үш тірексіз, тіпті ең үмітті модель де қауіпті және пайдасыз құралға айналып, әділдікке деген сенімді жою қаупі бар.