Елестер сілтемелер: ИИ-галлюцинациялар Австралияның әлеуметтік желілерге тыйым салу туралы есебіне деген сенімді қалай әлсіретті
Австралияда жасөспірімдерге арналған әлеуметтік желілерге тыйым салуды енгізуге негіз болған үкіметтік есепте генеративті нейрожелілерге тән жүйелі қателіктердің іздері табылды. Британдық Age Check Certification Scheme (ACCS) ұйымы дайындаған жас санатын тексеру технологияларын сынау бойынша негізгі құжат туралы сөз болып отыр. Менің талдауым библиографияда елеулі сәйкессіздіктерді анықтады, бұл бүкіл дәлелдемелік базаның сапасына күмән келтіреді.
Сынақтар Австралия бюджетіне 3,48 млн австралиялық долларға (~$2,5 млн) түсті. ACCS мамандары 48 жеткізушінің 60-тан астам шешімін тексерді, ал шамамен мың беттен тұратын он томдық қорытынды құжат 2025 жылдың тамызында үкіметке тапсырылды. Сол кезде Байланыс министрі Аника Уэллс деректер жас санатын тексеруге арналған «көптеген тиімді құралдардың» бар екенін растайтынын мәлімдеді. 16 жасқа толмаған пайдаланушыларға арналған тыйымның өзі 2025 жылдың 10 желтоқсанында күшіне енді.
Библиографиядағы жүйелі ақаулар
Есептің негізгі бөлігі практикалық сынақтарға арналған, алайда проблемалар авторлар ғылыми әдебиетке жүгінетін перспективалық әзірлемелер туралы тарауда анықталды. Мен кемінде алты бұзушылықты анықтадым, олар төрт санатқа бөлінеді: жалған DOI, бөгде жұмыстарға апаратын сілтемелер, жоқ «автор-журнал-жыл» комбинациялары және дұрыс сілтемелер, бірақ бұрмаланған тұжырымдармен.
Мысалы, бір мақала 2025 жылдың наурызымен белгіленген, дегенмен іс жүзінде тек шілдеде жарық көрген. Басқа жағдайда Weber et al. 2011 сілтемесі ешқайда апармайды — ол көрсетілген журналда да, Монаш университетінің зерттеуінде де жоқ. Бұл зерттеушінің адал еңбегі емес, ИИ «галлюцинацияларының» классикалық белгілері.
Метадеректердегі ChatGPT
ACCS өкілдері бастапқыда ИИ қолданылғанын мүлдем жоққа шығарды. Алайда метадеректерде ChatGPT-ге тікелей нұсқайтын төрт сілтеме табылғаннан кейін ұстаным өзгерді. Ұйым нейрожелі жекелеген үзінділерді қысқалық үшін қайта жазғанын мойындады, бірақ зерттеудің өзі OpenAI чат-ботының қатысуынсыз жасалғанын алға тартады. Сонымен қатар түзетілген дереккөздер тізімін тексеру жаңа сәйкессіздіктерді анықтады: жылдар, авторлар және журнал атаулары түпнұсқа дәйексөздермен сәйкес келмейді.
Инфрақұрылым және байланыс департаменті шағымдарды зерделеп жатқанын мәлімдеді. Шенеуніктер ACCS-тің сілтемелер жарияланымнан кейін «бұзылды» деген нұсқасын қайталады, бірақ бұл нұсқаны өздері тексермегендерін, тексеруді «көп еңбекті қажет ететін» деп санайтындарын мойындады. Австралия ұлттық университетінің профессоры Кристиан Дауни ескертеді: үкіметтік құжаттардағы жалған сілтемелер қате шешімдерге әкеледі және институттарға деген сенімді жояды. Тәуелсіз сенатор Фатима Пейман кешірім сұрауды және қаражатты қайтаруды талап етеді, қателері бар есепте ИИ қолданғаны үшін төлемнің бір бөлігін қайтарған Deloitte-пен болған жақындағы оқиғаны еске салады.
Менің пікірім: Бұл жағдай — ИИ дәуіріндегі сенім дағдарысының айқын белгісі. Мердігерлер жұмысты нейрожелілерге жүктеп, сараптамадан үнемдегенде, тек нақты компанияның беделі ғана емес, мемлекеттік шешімдердің сапасы да зардап шегеді. Индустрияға дереккөздерді тексеру стандарттары және оларды бұзғаны үшін қатаң санкциялар шұғыл қажет, әйтпесе біз ойдан шығарылған деректердің іргетасында саясат құру қаупіне тап боламыз.