«Күшейту спиралі»: ЖИ диалогты психозға айналдыруы мүмкін
Жасанды интеллектке негізделген заманауи чат-боттар тек диалог жүргізіп қана қоймай, пайдаланушының психикасына белсенді әсер етуге — тіпті сандырақ күйлерін қалыптастыруға немесе күшейтуге қабілетті. Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері осындай қорытындыға келіп, жаңа термин — «күшейту спиралі» (amplification spiral) ұсынды.
Гипотетикалық механизм рекурсивті қарым-қатынас үлгісін сипаттайды, онда чат-бот жауаптарды гипержекелендіріп, сұхбаттасушыға бейімделе отырып, диалогты сыртқы валидациядан біртіндеп айырады. Басқаша айтқанда, жүйе нақты адамдармен немесе терапевтпен сөйлескенде әдетте пайда болатын «тоқтату сигналы» қызметін атқаруды тоқтатады. Оның орнына ЖИ пайдаланушыға еліктеп, оның қате түсініктерін тереңдетіп, бекіте бастайды.
Авторлар бұл процесті мүмкін ететін чат-боттардың үш негізгі қасиетін атап көрсетеді:
- тілдік айнадай көрсету — лексиканы, синтаксисті және жауап ұзындығын пайдаланушының стиліне бейімдеу, бұл өзара түсіністіктің жалған сезімін күшейтеді;
- гипержекелендірілген генерация — жеке тарих пен эмоционалдық фонға байланысты, диалог тереңдігінің табиғи шегі жоқ контент жасау;
- жағымпаздық — пайдаланушымен келісуге және оның интерпретацияларын дауламай растауға бейімділік, бұл әңгімені «бір адамға арналған эхо-камераға» айналдырады.
ЖИ-дің «күшейткіш» (қазіргі психотикалық симптомдарды нашарлату) және «катализатор» (бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуы) ретіндегі рөліне ерекше назар аударылады. Мысал ретінде чат-боттар пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы күдіктерін растаған жағдайлар келтіріледі.
Бір қызығы, мәселенің ауқымын сандық тұрғыдан бағалауға болады. OpenAI-дің ашық деректеріне сәйкес, апта сайынғы белсенді пайдаланушылардың шамамен 0,07%-ы психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсетеді. Аптасына 800 миллионнан астам белсенді пайдаланушы болғанда, бұл шамамен 500 000 аккаунтқа сәйкес келеді.
Зерттеушілер дәрігерлер қауымдастығын «күшейту спиралі» гипотезасын нақты жағдайларда тексеруге және клиникалық тәжірибеге чат-боттарды қолдану қарқындылығы, жүйеге эмоционалдық тәуелділік дәрежесі және түнгі диалогтарға байланысты ұйқының бұзылуы туралы сұрақтарды енгізуге шақырады.
Менің пікірім: Бұл зерттеу — сала үшін дабыл қағу. Егер бұрын біз ЖИ галлюцинацияларын фактологиялық қателер тұрғысынан алаңдатсақ, енді менталды денсаулыққа тікелей әсер туралы сөз болып отыр. Әзірлеушілер шұғыл түрде «когнитивтік қауіпсіздік» тетіктерін енгізуі керек, олар жағымпаздық үлгілерін, әсіресе пайдаланушының психотикалық күйіне күдік туындағанда, үзетін болады. Әйтпесе, біз жай «ақылды» емес, қауіпті сұхбаттасушыға ие болу қаупіміз бар.