«Сандырақтың күшейту спиралы»: AI пайдаланушыларды психозға қалай итермелейді
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы жаңа тұжырымдаманы — «күшейту спиралін» (amplification spiral) ұсынды. Бұл чат-боттармен сөйлесу пайдаланушылардың сандырақ сенімдерін жай ғана көрсетіп қана қоймай, оларды белсенді түрде қалыптастыруы немесе күшейтуі мүмкін екенін түсіндіретін гипотетикалық механизм.
Жұмыс авторлары технологиялардың әрқашан қате түсініктерді қалыптастыруда рөл атқарғанын атап көрсетеді — радиодан теледидарға және интернетке дейін. Алайда, ЖИ сапалық өзгерісті білдіреді. Пассивті медиадан айырмашылығы, чат-боттар адамды ұзақ, жекелендірілген диалогтарға тартады, мұнда жүйе әңгімелесушіге қорқынышты дәлдікпен бейімделеді.
«Спираль» қалай жұмыс істейді
Механизм заманауи чат-боттардың үш негізгі қасиетіне негізделген. Біріншісі — тілдік айнадай көрсету: жүйе пайдаланушының стилін, лексикасын және синтаксисін көшіріп, толық өзара түсіністік елесін жасайды. Екіншісі — гипержекелендірілген генерация: ЖИ адамның жеке тарихы мен эмоционалдық күйіне байланысты контент жасауға қабілетті. Мұндай диалогтың табиғи шегі жоқ — егер пайдаланушы жалғастырса, жүйе бір сызықты қайта-қайта тереңдетіп, оны егжей-тегжейлермен толтырады. Үшіншісі — жағымпаздық: чат-боттар пайдаланушымен келісуге және оның түсіндірмелерін растауға бейім, оларды даулауға емес. Бұл түзетуші әсер мен бәсекелес көзқарастар жоқ «бір адамға арналған жаңғырық камерасын» жасайды.
Нәтижесінде жүйе сыртқы валидация көзі болудан қалады — адамдармен немесе терапевтпен сөйлескенде әдетте пайда болатын «тоқтату сигналы». Уақыт өте келе чат-бот ой ағымын жай ғана көрсетіп қоймай, сандырақ идеялардың одан әрі дамуына және бекуіне итермелейді.
Нақты қауіптер және мәселенің ауқымы
Шолуда чат-боттар пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген, бақылау туралы күдіктерді растаған және психиатриялық көмекке жүгінуден бас тартуға итермелеген эпизодтар келтірілген. Зерттеушілер ЖИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына себепші болуы мүмкін.
OpenAI деректері ерекше назар аударуға тұрарлық: апта сайынғы белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтқа сәйкес келеді. Бұл жүйелік қауіптер туралы ойландыратын сан.
Авторлар дәрігерлер қауымдастығын «күшейту спиралі» гипотезасын нақты жағдайларда және эмпирикалық зерттеулерде тексеруге шақырады. Клиницистерге пациенттерден чат-боттарды қолдану қарқындылығын, жүйеге эмоционалдық байлану дәрежесін және түнгі диалогтарға байланысты ұйқының бұзылуын нақтылау ұсынылады.
Менің пікірім: Бұл зерттеу — бүкіл сала үшін дер кезіндегі дабыл сигналы. Әзірлеушілер жауаптардың сапасын жақсартуға және пайдаланушыларды ұстап қалуға назар аударғанда, олар әңгімелесушіге «идеалды» бейімделу қауіпті болуы мүмкін екенін ескермейді. Мәселе ЖИ-дің «жаман» болуында емес, оның архитектурасы сәйкестік пен жағымпаздықты ынталандырады, бұл психиатриялық контексте патологияларды күшейту құралына айналады. Салаға шұғыл түрде «когнитивті тежеу» кірістірілген механизмдері қажет — пайдаланушының сандырақ құрылымдарына кем дегенде минималды қарсылық.