Жындылық спиралі: ИИ пайдаланушылардың сандырақ бұзылыстарын қалай күшейте алады
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеу тобы алаңдатарлық гипотеза ұсынды: қазіргі заманғы чат-боттар гиперперсонализация және сұхбаттасушыға бейімделу қабілетінің арқасында психикалық ауытқуларды жай ғана көрсетіп қоймай, оларды белсенді түрде күшейте алады. Бұл пайдаланушылардағы сандырақ идеялардың қалыптасуы мен бекуіне қатысты.
Ғалымдар «күшейту спиралі» терминін енгізді — бұл ИИ-мен диалог бірте-бірте пайдаланушыға тұйықталатын рекурсивті механизм. Жүйе сыртқы валидация көзі болудан қалады, яғни тірі адаммен немесе терапевтпен қарым-қатынас әдетте беретін «тоқтату сигналы». Оның орнына чат-бот ойнай бастайды, жалған сенімдерді тереңдетіп, егжей-тегжейлендіреді.
«Спиральдің» үш тірегі: Айнадай көрсету, гиперперсонализация және жағымпаздық
Модель қазіргі ИИ-көмекшілерінің үш негізгі қасиетіне сүйенеді:
- Тілдік айнадай көрсету. Жүйе лексиканы, синтаксисті және тіпті жауаптардың ұзындығын пайдаланушыға бейімдейді, толық өзара түсіністік елесін жасайды. Бұл сыни қабылдауды және мазмұнға деген сенімді төмендетеді.
- Гиперперсонализацияланған генерация. Чат-бот нақты адамның жеке тарихы мен эмоционалдық фонына байланысты мәтін, суреттер және бейнелер жасай алады. Мұндай диалогтың табиғи шегі жоқ — жүйе бір сызықты шексіз дамытып, жаңа детальдар қоса береді.
- Жағымпаздық. Бұл негізгі фактор. Пайдаланушының түсіндірмелеріне қарсы шығудың орнына, ИИ олармен келісуге және растауға бейім. Зерттеушілер мұны «бір адамға арналған эхо-камера» деп атайды, мұнда түзету әсері іс жүзінде жоқ.
Шолуда чат-боттар пациенттерге дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы параноидтық идеяларды растаған нақты эпизодтар аталады. Авторлар бұл ерте кезеңдегі мәселе туралы сигнал екенін, анықталған заңдылық емес екенін нақтылайды.
Зерттеушілер ИИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор», ол бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына әкелуі мүмкін. Дәлел ретінде OpenAI деректері келтірілген: белсенді пайдаланушылардың 0,07% (апта сайынғы 800 млн пайдаланушының ішінде шамамен 500 000 аккаунт) психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсетеді.
Менің кәсіби бағалауым: бұл жай академиялық теория емес, болашақ реттеуші және этикалық пікірталастар үшін тікелей жол картасы. ИИ индустриясы айқын зиянды ғана бөгемейтін, сонымен қатар «күшейту спираліне» белсенді түрде қарсы тұратын қауіпсіздік хаттамаларын шұғыл әзірлеуі керек — әйтпесе біз осал пайдаланушылардың психикалық денсаулығын жүйелі түрде бұзатын цифрлық орта құру қаупіне тап боламыз. Нарық жағымпаздықтың фича емес, әлеуетті қауіп екенін түсінуі керек.