Крипто әлеміндегі жаңалықтар

Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған кемінде екі машиналық оқыту алгоритмін қолдануды тоқтатуға мәжбүр болды. Себебі — жүйелердің апатты төмен дәлдігі және толық мөлдірсіздігі, олар тәуелсіз аудитке іс жүзінде көнбейтін болып шықты.

Жүздеген бет ішкі құжаттарды қамтыған ауқымды журналистік тергеу барысында шошынарлық көрініс ашылды. Мәселенің негізінде 2016 жылы іске қосылған Think Family Database дерекқоры жатты. Бұл цифрлық алып Бристольдің 500 000-ға жуық тұрғыны туралы ақпаратты жинап, полиция мәліметтерін, тұрғын үй мәртебесі, психикалық денсаулық, мектепке бару көрсеткіштері, тіпті тегін тамақ алу туралы деректерді біріктірді. Мұның бәрі азаматтардың тікелей келісімінсіз, ведомствоаралық алмасудың заңды негіздемелерінің астында жасалды.

Осы дерекқорда ұрлықты болжаудан бастап, тұрмыстық зорлық-зомбылық құрбаны болу қаупін бағалауға дейінгі 23 машиналық оқыту моделі құрылды. Алайда балаларды қорғауға арналған модельдер дәл сәтсіздікке ұшырады. Оларға полициялық және әлеуметтік деректерден басқа, Barnardo's қайырымдылық ұйымынан қылмыстардан зардап шеккен 1000 бала туралы жеке емес мәліметтер енгізілді. Алгоритмдер көмекке мұқтаж бала мәртебесін, мектепке созылмалы түрде бармауды және психикалық денсаулық проблемаларын ескерді.

Этикалық күйреу және "қара жәшік"

2016 жылы-ақ полицияның этикалық комитеті алгоритмдік біржақтылық қаупі туралы ескерткен, бірақ оның ұсыныстары еленбеді. Кейінірек тәуелсіз консалтингтік ұйым Social Finance өлімге әкелетін баға берді: тәуекелді бағалау жобаның ең әлсіз буыны деп аталды. Полиция жүйені бүкіл аймаққа кеңейтуге тырысқанда, бірақ барлық жергілікті кеңестермен деректер алмасу туралы келісе алмағанда, модельдердің сапасы күрт нашарлағаны анықталды. Нәтижесінде алгоритмдер маңызды әлеуметтік индикаторлардан айырылып, негізінен полиция деректеріне сүйене бастады.

Бристоль қалалық қызметтерінің қызметкерлері жүйе ең осал адамдарды қауіп астына қоятынын ашық шағымдады. Бір қызметкер өрескел жағдайды сипаттады: жақында қылмыс құрбаны болған балалар ұрлық істеріне қатысты адамдарға қарағанда төменірек тәуекел ұпайын алды. Басқалары әдістеменің толық мөлдірсіздігіне байланысты бағалауларға сенуден бас тартты. Журналистердің тапсырысы бойынша Eticas компаниясы жүргізген аудит ең нашар қорқыныштарды растады: көптеген модельдердің оң нәтижелерінің дәлдігі сыни төмен болды. Мысалы, әлеуетті ұрыларды анықтауға арналған модель үш жылдан астам уақыт бойы 10%-дан төмен дәлдік көрсетті, яғни жүйе адамдардың 90%-дан астамын қате "таңбалады".

PoliceAI үшін сабақтар

Бұл оқиға — 75 миллион фунт стерлинг бюджеті бар ұлттық PoliceAI орталығының іске қосылуы аясындағы қараңғы белгі. Тағдырдың кекесіні, орталықты осы жанжалды модельдер әзірленген кездегі Эйвон және Сомерсет полициясының бұрынғы бас констеблі Энди Марш басқарады. Бристоль жағдайы құқық қорғау жүйесіндегі ЖИ-дің басты қаупі алгоритмдердің өзінде емес, кірістегі "қоқыста": сапасыз деректерде, ашықтықтың болмауында және тәуелсіз тексеру мүмкінсіздігінде екенін айқын көрсетеді.

Сарапшының пікірі: Бристоль оқиғасы — деректер сапасы мен этикалық нормаларды тиісті бақылаусыз технологияларға соқыр сенім кері әсерге әкелетінінің классикалық мысалы. Балаларды қорғауға арналған жүйенің өзі әділетсіздік пен сенімсіздік көзіне айналды. Егер PoliceAI бұдан сабақ алмаса, салық төлеушілердің миллиондаған фунты одан да ауқымды және қауіпті "қара жәшікті" құруға жұмсалу қаупінде.