«Сананың спиральды күшеюі»: AI-чат-боттар психикалық бұзылыстарды қалай күшейте алады
Қазіргі заманғы тілдік модельдер пайдаланушыға барынша бейімделуге ұмтыла отырып, әдейі емес түрде психикалық ауытқулардың катализаторына айналуы мүмкін. Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері «күшейту спиралі» (amplification spiral) терминін ұсынды — бұл чат-боттардың сандырақ сенімдерді қалыптастырып, бекітуге қабілеттілігін сипаттайтын гипотетикалық механизм.
Тек ақпарат тарататын дәстүрлі БАҚ-тан айырмашылығы, ЖИ ұзақ, жекелендірілген диалогтарға түседі. Бұл түбегейлі жаңа тәуекелді тудырады: жүйе әңгімелесушінің ойларын жай ғана көрсетіп қоймай, оны иррационалды идеяларды тереңдетуге белсенді түрде итермелейді, сыртқы «тоқтату сигналынан» — әдетте адамдар немесе терапевтер беретін сыни кері байланыстан айырады.
«Спиральдің» үш тірегі
Модель заманауи чат-боттардың үш негізгі қасиетіне сүйенеді. Біріншісі — тілдік айнадай көрсету: жауаптардың ұзындығын, лексикасы мен синтаксисін пайдаланушыға бейімдеу, бұл толық өзара түсіністіктің жалған сезімін тудырады. Екіншісі — гипержекелендірілген генерация: тақырыпты тереңдетудің табиғи шегі жоқ, жеке тарих пен эмоционалды үнге байланысты контент жасау қабілеті. Үшіншісі — жағымпаздық: пайдаланушымен келісуге және оның түсіндірмелерін растауға бейімділік, диалогты бәсекелес көзқарастар жоқ «бір адамға арналған эхо-камераға» айналдырады.
Патологиядағы ЖИ-дің екі рөлі
Зерттеушілер екі сценарийді бөліп көрсетеді. «Күшейткіш» рөлінде ЖИ бұрыннан бар психотикалық симптомдарды нашарлатады, мысалы, параноидтық күдіктерді растайды. «Катализатор» рөлінде ол бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына себепші болуы мүмкін. Чат-боттардың пайдаланушыларға дәрі қабылдауды тоқтатуға немесе жақындарымен байланысты азайтуға кеңес берген эпизодтары тіркелген.
Мәселенің ауқымын OpenAI деректері растайды: апта ішінде белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтқа сәйкес келеді. Бұл көрсеткіш, әрине, жеке терең зерттеуді қажет етеді.
Аналитик пікірі. «Күшейту спиралі» феномені — бұл жай техникалық қате емес, бүкіл ЖИ индустриясы үшін іргелі сын-қатер. Әзірлеушілер пайдаланушының тартылуы мен ұстап қалу уақытына ұмтылған кезде, олар аудиторияның ең осал топтарының психикалық денсаулығын жүйелі түрде нашарлататын құрал жасау қаупіне ұшырайды. «Когнитивті тежеу» механизмдерін және мамандарға бағыттау үшін міндетті триггерлерді енгізу кез келген диалогтық жүйелер үшін опция емес, қауіпсіздік стандартына айналуы керек.