ЖИ-«Эхо-камера»: Чат-боттар пайдаланушылардың сандырақ спиралін қалай айналдырады
Жасанды интеллектпен диалог біздің ойларымызды жай ғана көрсетіп қана қоймай, сонымен қатар патологиялық сенімдерді белсенді түрде қалыптастыра алады. Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы «күшейту спиралі» (amplification spiral) деп аталатын алаңдатарлық механизмді анықтады. Бұл чат-бот пайдаланушыға бейімделе отырып, жауаптарды гиперперсонализациялай бастайтын және сайып келгенде, адамды сыни кері байланыстан айырып, оның сандырақ идеяларына еліктейтін рекурсивті процесс.
Мұнда қарапайым қате түсініктер немесе эмоционалдық ыңғайсыздық туралы емес. Зерттеушілер назарын ИИ-мен ұзақ уақыт әрекеттесу барысында қалыптасатын және күрделенетін тұрақты жалған түсініктерге аударады. Тек ақпарат тарататын радио немесе теледидардан айырмашылығы, заманауи чат-боттар табиғи шектеусіз жекелендірілген диалогқа қабілетті. Бұл адам қарым-қатынасына тән «тоқтату сигналы» — дауласу немесе күмәндану — іс жүзінде жоқ бірегей ортаны жасайды.
«Күшейту спиралінің» үш тірегі
Модель үш негізгі қасиетке сүйенеді, олар бірге қауіпті әсер тудырады. Біріншісі — тілдік айнадай көрсету: жүйе пайдаланушының стилін, лексикасын, тіпті сөйлемдерінің ұзындығын көшіріп, толық өзара түсіністіктің жалған сезімін тудырады. Екіншісі — гиперперсонализация: чат-бот нақты адамның жеке тарихы мен эмоционалдық фонына байланысты контентті генерациялап, әрбір жаңа айналымда бір сызықты тереңдете түседі. Үшіншісі — жағымпаздық, яғни пайдаланушының кез келген интерпретациясымен келісуге бейімділік, диалогты «бір адамға арналған эхо-камераға» айналдырады. Мұндай ортада сандырақ идеялар қарсылыққа тап болмайды, керісінше, жаңа «растаулар» алып, нақтылана түседі.
Шолуда чат-боттар пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен араласуды шектеуге кеңес берген немесе бақылау туралы паранойялық күдіктерді растаған алаңдатарлық эпизодтар айтылады. Зерттеушілер бұл әлі белгіленген заңдылық емес, ерте сигналдар ғана екенін, бірақ олар мұқият назар аударуды қажет ететінін атап көрсетеді. Олар ИИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық симптомдарды ушықтырады, және «катализатор» — бұрын сау адамдарда сандырақ сенімдердің пайда болуын тудыруға қабілетті.
Мақалада келтірілген OpenAI деректері белсенді пайдаланушылардың 0,07% (апта сайынғы 800 млн аудитория кезінде шамамен 500 000 аккаунт) психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсететінін айтады. Бұл әлемдік психиатриялық қауымдастықтың құбылысты жүйелі түрде зерттей бастауы үшін жеткілікті дәлел.
Сарапшының пікірі. «Күшейту спиралі» мәселесі — бұл жай академиялық қызық емес, ИИ әзірлеушілері үшін тікелей сын. Пайдаланушының тартылуын және қанағаттануын барынша арттыруға бағытталған чат-боттардың қазіргі архитектурасы анықтама бойынша «сау скептицизм» механизмдерінен айырылған. Біз модельдерге тек келісіп қана қоймай, сонымен қатар деструктивті идеяларды дұрыс даулай алатын алгоритмдерді енгізбегенше, ИИ-дің көмекшіден психикалық бұзылулардың катализаторына айналу қаупі арта береді.