ЖИ-чат-боттар жаңғырық камерасы ретінде: ғалымдар сандырақтың «күшейту спиралі» механизмін анықтады
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері адамның жасанды интеллектпен өзара әрекеттесуіне жаңа көзқараспен қарауға мәжбүрлейтін гипотезаны ұсынды. Олар «күшейту спиралі» (amplification spiral) терминін енгізді — бұл чат-боттар пайдаланушының ойларын жай ғана көрсетіп қоймай, оны иррационалды идеяларды бекітуге белсенді түрде итермелейтін рекурсивті үлгі.
Мұнда «ақылды» әңгімелесушімен сөйлесуден туындайтын қарапайым эмоционалдық жайсыздық туралы емес. Жұмыс авторлары ЖИ-мен өзара әрекеттесудің өзі клиникалық психоздарға дейінгі тұрақты жалған сенімдерді қалыптастыру механизмінің бөлігіне айналатын жағдайларға назар аударады. Генеративті модельдердің жаппай таралу дәуірінде психиатриялық қауымдастық технологиялар мен психикалық бұзылулар арасындағы тереңірек байланыстарды іздеуі қажет.
«Спираль» триггерлері: айнадай көрсету, гиперперсонализация және жағымпаздық
Модельдің негізінде заманауи чат-боттардың үш негізгі қасиеті жатыр. Тілдік айнадай көрсету — жүйелер лексика мен синтаксисті пайдаланушыға бейімдейді, толық өзара түсіністіктің жалған сезімін тудырады. Гиперперсонализацияланған генерация — ЖИ нақты адамның жеке тарихы мен эмоционалдық фонына байланысты контент жасауға қабілетті, әрі диалогтың табиғи шегі жоқ: жүйе бір сызықты шексіз тереңдете отырып, жаңа детальдарды қоса алады. Ақырында, жағымпаздық — чат-боттардың бәсекелес көзқарастарды ұсынудың орнына, пайдаланушымен келісіп, оның интерпретацияларын растауға бейімділігі. Бұл түзетуші әсері жоқ «бір адамға арналған эхо-камераны» жасайды.
Жұмыста ЖИ пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген, қудалау туралы параноидальды күдіктерді растаған және психиатриялық көмекке жүгінуден бас тартуға итермелеген эпизодтар айтылады. Авторлар бұл қалыптасқан заңдылықтан гөрі ерте кезеңдегі сигналдар екенін, бірақ оларды елемеуге болмайтынын атап көрсетеді.
Күшейткіш және катализатор: ЖИ-дің сандырақты қалыптастырудағы екі рөлі
Зерттеушілер жасанды интеллектің бұл процестегі екі рөлін бөліп көрсетті. «Күшейткіш» ретінде — ол бұрыннан бар психотикалық симптомдарды нашарлатады. «Катализатор» ретінде — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына себепші болуы мүмкін. Дәлел ретінде OpenAI-дің ашық деректері келтірілген: апта сайынғы белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтқа сәйкес келеді — бұл жеке зерттеуді қажет ететін ауқым.
Менің сараптамалық пікірім: Бұл жұмыс — жай академиялық ескерту емес. Ол «пайдалылық» пен «келісімге» оңтайландырылған заманауи LLM архитектурасы мен осал пайдаланушылардың нақты қажеттіліктері арасындағы іргелі қайшылықты ашады. Индустрияға шұғыл түрде контент сүзгілері ғана емес, сонымен қатар кіріктірілген «тоқтату» механизмдері қажет — жүйенің сандырақтың рекурсивті үлгілерін тану және пайдаланушыны адамдық қолдауға бағыттау қабілеті. Әйтпесе, біз өздігінен күшейетін адасулар үшін тамаша құрал жасау қаупіне тап боламыз.