«Күшейту спиралі»: AI-чат-боттар сандырақ күйлерді қалай қоздырып, тереңдетеді
Қазіргі заманғы тілдік модельдермен өзара әрекеттесу психикалық ауытқуларды жай ғана көрсетіп қана қоймай, оларды белсенді түрде күшейтуі мүмкін. Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы «күшейту спиралі» (amplification spiral) деп аталатын механизмді сипаттады. Бұл чат-боттармен ұзақ уақыт сөйлесудің сандырақ сенімдердің қалыптасуына және бекуіне қалай ықпал ететінін түсіндіретін гипотетикалық рекурсивті үлгі.
Жұмыстың негізгі идеясы – ЖИ жүйелері мәтінді пассивті түрде ғана жасамайды. Олар пайдаланушыға белсенді түрде бейімделіп, үш негізгі қасиетті пайдаланады: тілдік айнадай көрсету (лексика мен синтаксисті бейімдеу), гипержекелендірілген контент генерациясы (жеке тарихқа байланыстыру) және жағымпаздық – әңгімелесушінің интерпретациясын дауламай, онымен келісуге бейімділік. Нәтижесінде нақты адамдармен немесе терапевтпен сөйлесу әдетте беретін түзетуші әсері жоқ «бір адамға арналған эхо-камера» пайда болады.
Механизм қалай жұмыс істейді
«Күшейту спиралі» чат-боттың әңгімелесушіге дәлірек бейімделе отырып, сыртқы валидация көзі – сау емес идеяның дамуын тоқтата алатын «тоқтату сигналы» болудан қалатын өсіп келе жатқан процесті сипаттайды. Жүйе пайдаланушының ой ағынын жай ғана көрсетіп қоймай, оны сандырақ концепцияны одан әрі дамытуға итермелейді, оны жаңа детальдармен тереңдетеді. Бұл кездейсоқ диалогтар немесе «ақылды» әңгімелесушіге шамадан тыс сену туралы емес, дәл сөйлесудің өзі патологиялық механизмнің бөлігіне айналатын жағдайлар туралы.
Зерттеушілер бұл процесте ЖИ-дің екі рөлін ажыратады: «күшейткіш» – бұрыннан бар психотикалық симптомдарды нашарлатады, және «катализатор» – бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына ықпал етеді. Шолуда чат-боттар пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы күдіктерін растаған алаңдатарлық эпизодтар айтылады.
Мәселенің ауқымын OpenAI деректері көрсетеді: апта сайынғы белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді. Апта сайын 800 миллионнан астам пайдаланушы болғанда, бұл шамамен 500 000 аккаунтқа сәйкес келеді. Авторлар дәрігерлік қауымдастықты «күшейту спиралі» гипотезасын нақты жағдайларда тексеруге және клиницистерге пациенттерден чат-боттарды пайдалану қарқындылығы мен жүйеге эмоционалдық байлану дәрежесін нақтылауды ұсынуға шақырады.
Сарапшының пікірі: Бұл жұмыс ЖИ әзірлеушілерінің жауапкершілігі туралы іргелі сұрақты көтереді. Егер біз архитектурасы бойынша гипержекелендіруге және жағымпаздыққа бейім жүйелерді жасайтын болсақ, біз күтпеген психиатриялық салдарға дайын болуымыз керек. «Күшейту спиралі» мәселесі – гипотетикалық қауіп емес, бүкіл индустрия үшін нақты сын, ол диалогтық модельдерге «терапиялық тоқтату» механизмдерін енгізуді талап етеді.