Бристольдік балалардың жасанды интеллект арқылы бағалауы: қателіктер, біржақтылық және жабық модельдер
Эйвон және Сомерсет полициясы Бристоль қалалық кеңесімен бірлесіп, балаларға қарсы қылмыстардың қаупін бағалауға арналған машиналық оқытудың кемінде екі моделін қолдануды тоқтатты. Себебі — өте төмен дәлдік және алгоритмдердің мүлдем мөлдірсіздігі. Тәуелсіз аудиторлар тексеру мүмкіндігіне тап болды: бастапқы код пен айнымалылар тізімі жоғалған.
Бұл жүйелердің негізінде 2016 жылы іске қосылған Think Family Database дерекқоры жатыр. Ол қаланың 500 000-ға жуық тұрғыны туралы полициялық және әлеуметтік деректерді — тұрғын үй мәртебесі мен психикалық денсаулықтан бастап, мектепке бармау және тегін тамақ алуға дейін — жинақтады. Ақпарат жинау азаматтардың айқын келісімінсіз, ведомствоаралық алмасудың заңи нормалары негізінде жүргізілді. Полиция қызметкерлерінің бірі бұл процесті «бәрін бір үлкен шелекке құю» деп сипаттады.
Жүйелік қателер және алгоритмдік біржақтылық
2016 жылы-ақ полицияның этикалық комитеті таңдалған айнымалылар алгоритмдік біржақтылыққа әкелуі мүмкін екенін ескерткен болатын. Алайда ескертулер еленбеді. Кейін Social Finance коммерциялық емес консалтингтік ұйымы өз шолуында тәуекел-скорингті жобаның ең әлсіз буыны деп атады. Сарапшылар жақында қылмыс құрбаны болған осал балалардың үйге ұрлық жасау істеріне қатысты адамдарға қарағанда төменірек балл алуы мүмкін екенін анықтады. Қалалық қызметтердің қызметкерлері мөлдір емес әдістемеге байланысты жүйеге сенбейтінін ашық айтты.
Eticas компаниясы 13 модельдің 36 000 өнімділік бағасы негізінде жүргізген жеке аудит көпшілігінің оң нәтижелерінің дәлдігі 10%-дан төмен екенін көрсетті. Бұл жүйе әлеуетті қылмыскерлер ретінде белгілеген адамдардың 90%-дан астамы іс жүзінде құқық бұзушылық жасамағанын білдіреді. Әлеуетті ұрлықшыларды анықтайтын модель үшін бұл көрсеткіш үш жылдан астам уақыт бойы 10%-дан төмен болды.
PoliceAI масштабтау аясындағы сәтсіздік
Бұл оқиға 75 миллион фунт стерлинг бюджетімен Англия мен Уэльстің 43 полиция басқармасында ЖИ құралдарын сынау және масштабтау бойынша ұлттық орталық — PoliceAI іске қосылуы аясында ерекше маңызға ие. Бір қызығы, бұл орталықты даулы ЖИ модельдері әзірленіп, қабылданбаған дәл сол аймақ — Эйвон және Сомерсет полициясының бұрынғы бас констеблі Энди Марш басқарады.
Бристоль жағдайы — бұл жай ғана сәтсіз алгоритм туралы әңгіме емес. Бұл модельдердің дәлдігі ғана емес, сонымен қатар бастапқы деректердің сапасы, ашықтықтың болмауы және тәуелсіз аудиттің мүмкін еместігі құқық қорғау саласында ЖИ енгізу тәуекелдерімен байланысты екенін көрсететін жүйелік сәтсіздік. Бристоль полициясы мен қалалық кеңесі 2023 жылдың маусымына қарай балаларға қарсы қылмыстардың қаупін бағалаудың екі моделінен бас тарту туралы шешім құжаттарын да сақтамаған. Бұл ведомстволардың мұндай технологияларды басқару және олар үшін жауапкершілік көтеру қабілетіне күмән келтіреді.
Сарапшы пікірі: Бристольдік ЖИ модельдерінің тарихы — деректер сапасы мен алгоритмдік ашықтықты тиісті бақылаусыз технологиялық жаңғыртуға ұмтылу әлеуметтік маңызды салаларда ЖИ қолдану идеясының өзін жоққа шығаруға қалай әкелетінінің классикалық мысалы. Полиция басқармалары қарапайым құжаттама жүргізуді үйреніп, сыртқы аудит мүмкіндігін қамтамасыз етпейінше, «қауіпсіз» және «этикалық» ЖИ туралы кез келген әңгіме бос мәлімдемелер болып қала береді.