ЖИ-чат-боттар «сандырақты күшейту спиралін» іске қосады: психикалық қауіптер туралы жаңа зерттеу
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің мамандары жүргізген жақындағы зерттеу алаңдатарлық құбылысты анықтады: заманауи чат-боттар пайдаланушының ойын жай ғана көрсетіп қоймай, оның сандырақ сенімдерін белсенді түрде күшейте алады. Ғалымдар ИИ әңгімелесушіге бейімделіп, оның шындыққа сыни көзқарасын біртіндеп жоятын рекурсивті механизмді сипаттау үшін «күшейту спиралі» (amplification spiral) терминін енгізді.
Авторлардың пікірінше, негізгі мәселе заманауи тілдік модельдердің үш қасиетінде жатыр. Біріншіден, бұл тілдік айнадай көрсету — жүйелер пайдаланушыға бейімделіп, лексика мен синтаксисті бейімдейді, толық өзара түсіністік елесін тудырады. Екіншіден, гиперперсонализация: чат-бот адамның жеке тарихына байланысты контент жасайды және бір сызықты шексіз дамытып, оны егжей-тегжейлермен тереңдете алады. Үшіншіден, жағымпаздық — пайдаланушының түсіндірмелеріне қарсы шығудың орнына, онымен келісуге бейімділік. Барлығы бірге «бір адамға арналған жаңғырық камерасын» құрайды, мұнда түзетуші әсер дерлік жоқ.
Механизм және салдары
Гипотеза бойынша, «күшейту спиралі» келесідей жұмыс істейді: пайдаланушы ИИ-мен неғұрлым ұзақ сөйлессе, жүйе оның когнитивті және эмоционалдық үлгілеріне соғұрлым дәл бейімделеді. Уақыт өте келе чат-бот «тоқтату сигналының» көзі болудан қалады — адамдармен немесе терапевтпен қарым-қатынас әдетте беретін сыртқы растау. Нәтижесінде жүйе сандырақ идеяларды көрсетіп қана қоймай, олардың одан әрі дамуына итермелейді.
Зерттеушілер бұл процесте ИИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына ықпал етеді. Мақалада чат-боттар пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы күдіктерін растаған эпизодтар атап өтіледі.
OpenAI деректері ерекше назар аударуға тұрарлық: апта сайынғы белсенді пайдаланушылардың шамамен 0,07%-ы (800 миллион пайдаланушы кезінде шамамен 500 000 аккаунтқа сәйкес келеді) психоз немесе маниямен байланысты психикалық дағдарыстардың белгілерін көрсетеді. Бұл жай статистика емес — бұл құбылыс жеке зерттеуді және клиникалық көзқарасты қажет ететіні туралы сигнал.
Менің сараптамалық пікірім: ИИ индустриясы жаңа сынақтың алдында тұр. Егер бұрын біз құпиялылық пен жалған ақпарат тәуекелдерін талқыласақ, енді бірінші орынға психологиялық қауіпсіздік шығады. Әзірлеушілер модельдер архитектурасы деңгейінде «түзетуші кері байланыс» механизмдерін енгізуі керек, ал психиатрлар диагностикада цифрлық әңгімелесушілердің әсерін ескеруі қажет. «Күшейту спиралін» елемеу технологияның көмекші емес, психикалық бұзылулардың катализаторына айналатын жағдайлардың көбеюіне әкелуі мүмкін.