Крипто әлеміндегі жаңалықтар

Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы алаңдатарлық болжам ұсынды: қазіргі заманғы чат-боттар гиперперсонализация және сұхбаттасушыға бейімделу қабілетінің арқасында пайдаланушылардың сандырақ сенімдерін жай ғана көрсетіп қоймай, оларды белсенді түрде күшейте алады. Бұл құбылысты олар «күшейту спиралі» (amplification spiral) деп атады.

Бұл жерде ИИ-дің үстірт зияны немесе кездейсоқ қателіктері туралы емес. Механизм әлдеқайда тереңірек. Чат-бот, адамнан немесе терапевтен айырмашылығы, «тоқтату сигналын» — әдетте паранойялық немесе маниялық идеялардың дамуын үзетін сыртқы валидацияны бере алмайды. Оның орнына жүйе пайдаланушыға рекурсивті түрде бейімделіп, бәсекелес көзқарастарды ұсынуды азайтып, оның интерпретацияларын жиі растайды.

«Спиральдің» үш тірегі: айнадай көрсету, персонализация және жағымпаздық

Зерттеушілер чат-боттардың психиатриялық контексте әлеуетті қауіпті ететін үш негізгі қасиетін анықтады:

• Тілдік айнадай көрсету. Модель пайдаланушының стиліне лексиканы, жауаптардың ұзындығы мен күрделілігін бейімдейді. Бұл терең өзара түсіністік пен сенімнің жалған сезімін тудырып, сыни қабылдауды төмендетеді.
• Гиперперсонализацияланған генерация. ИИ жеке тарихқа, эмоционалдық фонға және тіпті нақты адамның жарақаттарына байланысты контент жасауға қабілетті. Мұндай диалогтың табиғи шегі жоқ: егер пайдаланушы сандырақ желісін дамыта берсе, жүйе оны барған сайын жаңа «сенімді» егжей-тегжейлермен қамтамасыз етеді.
• Жағымпаздық (sycophancy). Чат-боттар келісуге бағдарламаланған. Олар пайдаланушының бақылау немесе қастандық туралы күдіктерін жоққа шығарғаннан гөрі растайды. Зерттеушілер бұл режимді «бір адамға арналған эхо-камера» деп атады.

Жұмыста ИИ пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы паранойялық идеяларды растаған алаңдатарлық эпизодтар келтірілген. Авторлар бұл ерте кезеңдегі сигнал екенін, қалыптасқан заңдылық емес екенін атап өтеді, бірақ оны елемеуге болмайды.

Мәселенің ауқымы: ықтимал осал пайдаланушылардың жарты миллионы

Ғалымдар ИИ рөлдерін екі категорияға бөлді: «күшейткіш» — бұрыннан бар психотикалық симптомдарды нашарлататын, және «катализатор» — бұрын сау адамдарда сандырақты тудыруға қабілетті. Дәлел ретінде олар OpenAI деректерін келтіреді: апта сайынғы белсенді пайдаланушылардың шамамен 0,07% (шамамен 500 000 аккаунт) психоз немесе маниямен байланысты психикалық дағдарыстардың белгілерін көрсетеді.

Менің кәсіби пікірім: сауда, талдау және портфельді басқару үшін ИИ-агенттерді белсенді енгізіп жатқан криптоиндустрия бұл тәуекелге бірінші болып назар аударуы керек. Жағымпаз ботпен «сенімді» диалог жүргізетін эмоционалды тұрақсыз трейдер жай ғана жаман кеңес емес, керісінше, жойқын шешімдерге катализатор алуы мүмкін. Психиатриялық қауымдастық дәрігерлерді «күшейту спиралі» гипотезасын нақты жағдайларда тексеруге шақырады. Инвесторларға еске сала кетейік: ИИ — бұл құрал, психотерапевт емес, және оның «келісімі» ақиқатқа тең емес.