Бристольдік ЖИ сәтсіздігі: полиция балаларға қарсы қылмыстарды болжау модельдерін дәлсіздігіне байланысты өшірді
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің кемінде екі моделін қолданудан бас тартуға мәжбүр болды. Себебі — төмен дәлдік және алгоритмдердің толық мөлдірсіздігі. Тәуелсіз аудиторлар бастапқы кодты да, тіпті қолданылатын айнымалылар тізімін де таба алмады, бұл жүйелердің жұмысқа қабілеттілігін кез келген тексеруді мүмкін емес етеді.
Жанжалдың негізінде Бристоль қалалық кеңесі 2016 жылы іске қосқан Think Family Database дерекқоры жатыр. Ол 500 000-ға жуық тұрғын туралы ақпаратты, соның ішінде полиция, әлеуметтік қызметтер деректерін, психикалық денсаулық, тұрғын үй мәртебесі, мектепке бару көрсеткіштері және тіпті ата-ана курстарына қатысу туралы мәліметтерді жинақтады. Деректерді жинау азаматтардың тікелей келісімінсіз, мемлекеттік құрылымдар арасында ақпарат алмасу туралы заңдық нормалар негізінде жүргізілді.
Модельдер қалай жұмыс істеді және неге сәтсіздікке ұшырады
Осы дерекқор негізінде ұрлықты, тұрмыстық зорлық-зомбылық қаупін және ең маңыздысы, балаларға қарсы қылмыстарды болжаған 23 машиналық оқыту моделі құрылды. Балаларға қатысты қауіпті бағалауға арналған модельдердің бірі Barnardo's қайырымдылық ұйымының зардап шеккен 1000 кәмелетке толмаған бала туралы деректерін пайдаланды. Қауіп факторлары ретінде көмекке мұқтаж бала мәртебесі, мектепке бармау және психикалық денсаулық проблемалары ескерілді.
2016 жылдың өзінде полицияның этикалық комитеті таңдалған айнымалыларға байланысты алгоритмдік біржақтылықтың жоғары қаупі туралы ескерткен болатын. Кейінірек Social Finance коммерциялық емес консалтингтік ұйымы жүргізген аудит ең нашар қорқыныштарды растады: модельдердің дәлдігі олардың практикалық құндылығын толығымен жойған ең әлсіз буын деп танылды. Social Finance сапаның нашарлауын деректер жиынтығының өзгеруімен байланыстырды. Модельдерді бес жергілікті кеңеске кеңейтуге тырысқанда, полиция әлеуметтік деректермен алмасу туралы келісе алмады, нәтижесінде модельдер тек полициялық «ядроға» сүйеніп, маңызды әлеуметтік көрсеткіштерден айырылды.
Eticas аудиті: дәлдік 10%-дан төмен
Eticas аудиторлық компаниясы 36 000 өнімділік бағасы негізінде жүргізген жеке талдау көптеген модельдердің оң нәтижелерінің дәлдігі өте төмен екенін анықтады. Мысалы, әлеуетті ұрыларды анықтауға арналған модель үш жылдан астам уақыт бойы 10%-дан төмен дәлдік көрсетті — яғни жүйе белгілеген он адамның бірі ғана нақты қылмыс жасаған. Аудиторлар мұндай көрсеткіштер кәсіби басқарылатын және операциялық қолданыстағы модельдерге мүлдем тән емес екенін атап өтті.
Қалалық қызметтер қызметкерлері жүйе осал балаларды өткізіп жібергеніне, ал ұрлық істері бойынша фигуранттар жоғары қауіп ұпайларын ала алатынына шағымданды. Басқа қызметкерлер әдістеменің толық мөлдірсіздігіне байланысты бағалауларға сенуге дайын еместігін ашық айтты.
Менің талдауым: Бұл оқиға — ЖИ істен шыққаны туралы ғана емес. Бұл балаларды қорғау сияқты сезімтал салаларға технологияларды енгізу амбициялары data science негізгі қағидаттарын: деректер сапасын, қайта шығарылу мүмкіндігін және мөлдірлікті елемеу салдарынан қалай жойылуы мүмкін екенінің айқын мысалы. Бастапқы кодтың және шешім қабылдау құжаттарының болмауы — бұл техникалық қателік емес, кез келген болашақ PoliceAI бастамаларын күмәнға қалдыратын жүйелі басқару сәтсіздігі.