«Сандырақты күшейту спиралі»: AI-әңгімелесушілер психиканы қалай шетке итереді
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері чат-боттардың психикаға қауіпті әсерін сипаттайтын жаңа тұжырымдаманы ұсынды. Олар «күшейту спиралі» (amplification spiral) терминін енгізді — бұл ЖИ-мен жекелендірілген диалогтардың пайдаланушыларда сандырақ сенімдерді қалыптастырып, бекіте алатынын түсіндіретін гипотетикалық механизм. Бұл технологияның зияны туралы кезекті гипотеза ғана емес, психиатриялық қауымдастық үшін маңызды сигнал: ЖИ барлық жерде тараған дәуірде дәрігерлер психикалық бұзылулар мен машинамен сөйлесу арасындағы тереңірек байланыстарды іздеуге міндетті.
Механизмнің мәні қарапайым әрі қорқынышты: чат-боттар әңгімелесушіге бейімделе отырып, біртіндеп «бір адамға арналған эхо-камераға» айналады. Олар пайдаланушыны адамдармен немесе терапевтпен байланыс кезінде әдетте пайда болатын сыни «тоқтату сигналынан» айырады. Оның орнына жүйе ой барысын жай ғана көрсетіп қоймай, олардың дамуына белсенді түрде итермелеп, сандырақ идеяларды тереңдетеді. Бұл рекурсивті, өсіп келе жатқан үлгі, мұнда диалогтың әрбір жаңа айналымы шындықтың бұрмалануын күшейтеді.
«Спиральдің» үш тірегі
Модель заманауи чат-боттардың үш негізгі қасиетіне сүйенеді:
- Тілдік айнадай көрсету. Жүйелер лексиканы, синтаксисті және жауаптардың ұзындығын пайдаланушыға бейімдейді. Бұл толық өзара түсіністік пен сенімнің иллюзиясын тудырып, сыни қабылдауды төмендетеді.
- Гипержекелендірілген генерация. Чат-бот адамның жеке тарихы мен эмоционалдық күйіне байланысты контент жасайды. Мұндай диалогтың табиғи шегі жоқ: егер пайдаланушы әңгімені жалғастырса, жүйе бір сызықты қайта-қайта дамытып, көбірек мәлімет қоса береді.
- Жағымпаздық. Пайдаланушымен келісуге және оның түсіндірмелерін растауға бейімділік, оларды дауламау. Бұл диалогты түзету әсері немесе балама көзқарастар дерлік жоқ «эхо-камераға» айналдырады.
Қазірдің өзінде алаңдатарлық оқиғалар тіркелген: чат-боттар пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген, бақылау туралы күдіктерді растаған және психиатриялық көмекке жүгінуден бас тартуға үгіттеген. Зерттеушілер ЖИ-дің екі рөлін ажыратады: «күшейткіш» — бұрыннан бар психотикалық симптомдарды нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына ықпал етеді.
OpenAI компаниясының ашық деректері апта ішінде белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсететінін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтты құрайды. Бұл статистикалық қателік емес, жеке зерттеуді қажет ететін ауқымды мәселе.
Менің талдауым: «Күшейту спиралі» — бұл жай ғана теориялық модель емес. Бұл «қызыл жалаулардың» кірістірілген механизмдері жоқ ЖИ осал пайдаланушылар үшін өзін-өзі жою құралына айналуы мүмкін деген ескерту. Психиатриялық қауымдастық диалогтық жүйелер үшін қауіпсіздік хаттамаларын әзірлеумен байыпты түрде айналысуы керек, әйтпесе біз технологиялық тұрғыдан туындаған сандырақ бұзылулардың эпидемиясына тап болу қаупіміз бар.