Бристольдегі балалардың жасанды интеллект арқылы бағалануы: алгоритмдердің сәтсіздігі және біржақтылық қаупі
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған жасанды интеллекттің екі моделін қолдануды тоқтатты. Себеп — сыни төмен дәлдік және алгоритмдердің толық мөлдірсіздігі. Тәуелсіз аудиторлар бастапқы кодты да, қолданылатын айнымалылар тізімін де таба алмады, бұл мұндай жүйелерді тексеруді мүмкін емес етеді.
Деректер қалай жиналды: «Үлкен шелек» ақпарат
Жобаның негізінде 2016 жылы іске қосылған Think Family Database дерекқоры жатыр. Ол тұрғындар туралы полициялық және әлеуметтік деректерді біріктірді: тұрғын үй мәртебесі, психикалық денсаулық, жасөспірімдердің жүктілігі, мектептен қалу және тіпті тегін тамақтану фактісі. Мәліметтер азаматтардың тікелей келісімінсіз, мемлекеттік органдар арасында ақпарат алмасу туралы заң нормалары негізінде жиналды. Полиция мамандарының бірі бұл тәсілді «бәрін үлкен шелекке араластыру» деп ашық сипаттады.
Осы базада ересектер мен балаларға тәуекел бағаларын тағайындайтын машиналық оқыту модельдері құрылды. Журналистерге кемінде 23 осындай модель белгілі — ұрлық-тонау болжамынан бастап тұрмыстық зорлық-зомбылық құрбаны болу ықтималдығына дейін. Параллельді түрде Offender Management App қосымшасы жұмыс істеді, оны аға офицер ең қауіпті қылмыскерлердің «турнирлік кестесі» деп атады.
Алгоритмдер неге сәтсіздікке ұшырады
Балаларға қарсы қылмыстардың қаупін бағалау моделі полиция, қалалық кеңес және Barnardo's қайырымдылық ұйымының деректерін, соның ішінде осындай қылмыстардан зардап шеккен 1000 бала туралы жеке емес мәліметтерді пайдаланды. Скорингке көмекке мұқтаж бала мәртебесі, мектептен үнемі қалу және психикалық денсаулық проблемалары әсер етті. Басқа модель тұрғын үй қолдауын, жалдау ақысы бойынша қарызды және мектептегі тегін тамақтануды ескерді.
2016 жылдың өзінде полицияның этикалық комитеті алгоритмдік біржақтылық қаупі туралы ескерткен болатын. Кейінірек Social Finance консалтингтік ұйымы тәуекел-скорингті жобаның ең әлсіз элементі деп атады. Төмен дәлдік модельдердің практикалық құндылығын төмендетті. Тексеру кезінде екі жүйе де қолданылмайтын болды.
Модельдердің сапасы деректер жиынтығының өзгеруіне байланысты нашарлады. Полиция тәсілді бүкіл аймаққа кеңейтуге тырысты, бірақ барлық жергілікті кеңестермен деректер алмасу туралы келісе алмады. Нәтижесінде модельдерде әлеуметтік көрсеткіштерсіз негізінен полициялық «ядро» қалды. Қалалық қызметтер қызметкерлері осал балалар нәтижелерге енбейтініне, ал кәмелетке толмаған қылмыс құрбандары ұрлық істері бойынша фигуранттарға қарағанда төменірек балл алатынына шағымданды.
Аудит: төмен дәлдік және жоғалған құжаттар
Eticas аудиторлық компаниясы 36 000-нан астам өнімділік бағасын талдап, көптеген модельдердің оң нәтижелерінің дәлдігі төмен деген қорытындыға келді. Жүйе адамдардың едәуір бөлігін қате түрде тәуекел ретінде белгіледі. Мысалы, әлеуетті ұрлықшыларды анықтау моделі үш жылдан астам уақыт бойы 10%-дан төмен дәлдік көрсетті: жүйе белгілеген әрбір оң адамның онысынан азы ғана мұндай қылмыс жасаған.
Ни полиция, ни Бристоль қалалық кеңесі 2023 жылдың маусымына қарай балаларға қарсы қылмыстардың қаупін бағалаудың екі моделінен бас тарту туралы шешім құжаттарын сақтамаған. Бастапқы код пен айнымалылар тізімін табу мүмкін болмады. Қазір билік тек NEET тәуекел моделін — баланың мектептен кейін оқымау, жұмыс істемеу немесе оқудан өтпеу ықтималдығын бағалауды пайдаланады.
Контекст: PoliceAI және жүйелік тәуекелдер
Бұл оқиға PoliceAI — Англия мен Уэльстің 43 полиция басқармасына арналған ЖИ құралдарын сынаудың ұлттық орталығы 75 миллион фунт стерлинг бюджетпен іске қосылуы аясында өрбуде. Бристольдегі оқиға мұндай модельдердің тәуекелдері алгоритмдердің дәлдігімен ғана емес, сонымен қатар деректер сапасымен, құжаттаманы сақтаумен және тәуелсіз тексеру мүмкіндігімен де байланысты екенін айқын көрсетеді.
Сарапшының пікірі. Бристольдік жағдай — тиісті аудит пен ашықтықсыз құқық қорғау саласына ЖИ енгізуге асығудың идеяның өзін жоққа шығаруға қалай әкелуі мүмкін екенінің классикалық мысалы. Жүйе қылмыс құрбанын әлеуетті қылмыскерден ажырата алмаған кезде, бұл жай техникалық қате емес, әділдікке тікелей қауіп. Реттеушілер мұндай алгоритмдерді тексерудің міндетті стандарттарын енгізбейінше, мұндай сәтсіздіктер қайталана береді.