Алгоритмдық әділеттіліктің сәтсіздігі: Бристоль балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллект модельдерін апатты дәлдікке байланысты өшірді
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің кем дегенде екі моделін қолдануды тоқтатты. Себебі — сыни тұрғыдан төмен дәлдік және алгоритмдердің толық мөлдірсіздігі. Тәуелсіз аудиторлар жүйелерде қолданылатын бастапқы кодты да, тіпті айнымалылардың толық тізімін де таба алмады.
Ақпаратқа қол жеткізу туралы сұраулар арқылы алынған жүздеген бет құжаттарға негізделген журналистік тергеу барысында жүйелік проблемалар анықталды. Бұл оқиға Англия мен Уэльстің 43 полиция басқармасында ЖИ құралдарын сынау және масштабтау үшін арналған PoliceAI ұлттық орталығының іске қосылуы аясында өрбиді.
Think Family дерекқоры: келісімсіз «Үлкен шелек»
Мәселенің негізінде 2016 жылы іске қосылған Think Family дерекқоры жатыр. Ол отбасылар туралы полициялық және әлеуметтік деректерді, соның ішінде тұрғын үй мәртебесін, психикалық денсаулық туралы мәліметтерді, жасөспірімдердің жүктілігін, мектептен қалуды және тіпті тегін мектеп тамағын алу фактісін біріктірді. Бағалау бойынша, дерекқорда 500 000-ға жуық тұрғын туралы жазбалар болуы мүмкін, ал деректер адамдардың тікелей келісімінсіз, мемлекеттік органдар арасында ақпарат алмасудың жалпы құқықтық нормалары негізінде жиналған. Полицияның деректер жөніндегі мамандарының бірі бұл тәсілді «бәрін үлкен шелекке салу» деп циниктік түрде сипаттады.
Осы дерекқор негізінде ұрлық-тонау болжамынан бастап тұрмыстық зорлық-зомбылық құрбаны болу қаупін бағалауға дейінгі кем дегенде 23 машиналық оқыту моделі құрылды. Алайда, балаларға қарсы қылмыстардың қаупін бағалауға арналған модельдер ең нашар нәтиже көрсетті.
Барлық майданда сәтсіздік: біржақтылықтан кодтың жоғалуына дейін
2016 жылдың өзінде-ақ полицияның этикалық комитеті таңдалған айнымалыларға байланысты алгоритмдік біржақтылықтың жоғары қаупі туралы ескерткен болатын. Модельге, мысалы, баланың көмекке мұқтаж мәртебесі және психикалық денсаулық проблемалары енгізілген, бұл стигматизацияның тұйық шеңберін тудыруы мүмкін еді. Кейінірек Social Finance коммерциялық емес консалтингтік ұйымы өз шолуында тәуекел-скорингті жобаның ең әлсіз элементі деп атап, төмен дәлдік модельдердің практикалық құндылығын толығымен жойғанын атап өтті.
Жүйені бүкіл Эйвон және Сомерсет аумағына масштабтау әрекеті жағдайды одан әрі ушықтырды. Барлық жергілікті кеңестермен деректер алмасу туралы келісе алмау салдарынан модельдерден әлеуметтік индикаторлар жоғалып, тек полициялық «ядро» қалды. Нәтижесінде әлеуметтік қызмет қызметкерлері қылмыс құрбаны болған осал балалар ұрлық істеріне қатысушыларға қарағанда төменірек тәуекел ұпайына ие болғанына шағымданды. Eticas компаниясы жүргізген аудит көптеген модельдердің оң сәйкестік дәлдігі 10%-дан төмен екенін көрсетті. Бұл жүйе он адамның тоғызынан астамын қателесіп «тәуекелді» деп белгілегенін білдіреді. Social Finance тексеруі кезінде модельдердің бастапқы коды мен құжаттамасы жоғалып кеткен болатын.
Қорытындылар мен перспективалар
Бристоль оқиғасы — бұл алгоритмдердің істен шығуы туралы ғана емес. Бұл маңызды әлеуметтік салаларға ЖИ енгізумен байланысты іргелі тәуекелдердің көрінісі. Мәселе тек дәлдікте ғана емес, сонымен қатар мөлдірлікте, деректер сапасында және тәуелсіз аудит мүмкіндігінде. Бұрын Эйвон және Сомерсет полициясының бас констеблі болған жаңа PoliceAI ұлттық орталығының басшысы дәл осы даулы модельдер әзірленіп, қолданылған юрисдикцияны басқарғаны көрсеткіш.
Cryptalist пікірі: Бұл жағдай — мемлекет қолындағы алгоритмдердің «қара жәшігі» оның алдын алуға тиіс қылмыстан да қауіпті болуы мүмкін екендігі туралы қатаң ескерту. Реттеушілер мен қоғам ЖИ-дің болашағы туралы таласып жатқанда, бүкіл әлемдегі полиция бөлімшелері адам өмірімен қауіпті тәжірибелер жүргізіп жатыр. Бристоль тарихы жай ескерту ғана емес, барлық мемлекеттік ЖИ жүйелері үшін қатаң аудит және мөлдірлік стандарттарын енгізудің катализаторы болуы керек.