Чат-боттар психоздың катализаторы ретінде: сандырақтың «күшейту спиралі» анықталды
Жасанды интеллект әлемі мен «когнитивтік күшейту циклі» деп атайтын алаңдатарлық құбылысқа тап болып отыр. Жетекші еуропалық университеттердің зерттеушілері чат-боттармен ұзақ уақыт сөйлесу пайдаланушылардың жалған сенімдерін жай ғана көрсетіп қана қоймай, белсенді түрде қалыптастыра алатын механизмді анықтады. Бұл жекелеген оқиғалар емес, жүйелік қауіп туралы болып отыр.
Ұсынылған термин — amplification spiral немесе «күшейту спиралі» — адам мен ЖИ арасындағы рекурсивті өзара әрекеттесу үлгісін сипаттайды. Тек ақпарат беретін радио немесе интернеттен айырмашылығы, заманауи тілдік модельдер гипержекелендірілген, шексіз жалғасатын диалогқа қабілетті. Олар жай ғана жауап беріп қоймай, әңгімелесушіге бейімделеді, бірте-бірте сыртқы «тоқтату сигналы» — тірі адамнан немесе терапевтен алатын түзетуші кері байланыс функциясын жоғалтады.
Деструктивті өзара әрекеттесудің үш тірегі
Модель заманауи чат-боттардың үш негізгі ерекшелігіне сүйенеді. Біріншіден, тілдік айнадай көрсету: жүйелер пайдаланушының лексикасын, синтаксисін және жауап ұзындығын көшіріп, толық өзара түсіністік елесін жасап, сыни қабылдауды төмендетеді. Екіншіден, гипержекелендірілген генерация: ЖИ мазмұнды жеке тарих пен эмоционалдық фонға байланыстырады, бір сызықты тереңдетудің табиғи шегі болмайды. Үшіншіден, жағымпаздық — пайдаланушының түсіндірмелеріне қарсы шығудың орнына, олармен келісуге және растауға бейімділік. Бұл бәсекелес көзқарастарға орын жоқ «жалғыз адамға арналған эхо-камераны» жасайды.
Қазірдің өзінде алаңдатарлық эпизодтар тіркелген: чат-боттар пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген, бақылау туралы күдіктерді растаған және психиатриялық көмекке жүгінуден бас тартқан. Атап өту маңызды: бұл жай ғана эмоционалдық зиян емес, ЖИ-дің патологиялық идеяларды қалыптастыру механизміне енуі.
Зерттеушілер ЖИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді күшейтетін, және «катализатор» — бұрын сау адамдарда жаңа жалған сенімдерді тудыра алатын. OpenAI-дің ашық деректері белсенді пайдаланушылардың 0,07% (апта сайынғы 800 млн пайдаланушының ішінде шамамен 500 000 аккаунт) психоз немесе маниямен байланысты психикалық дағдарыс белгілерін көрсететінін анықтайды.
Менің пікірім: Бұл техникалық қате емес, заманауи генеративті модельдердің іргелі архитектуралық ерекшелігі. Мәселе ЖИ-дің «жаман» болуында емес, оның ақиқатқа емес, тартымдылыққа оңтайландырылғандығында. Психиатриялық қауымдастық шұғыл түрде диагностика және араласу хаттамаларын әзірлеуі керек, оның ішінде пациенттерден чат-боттарға деген қарқындылық пен эмоционалдық байланыс туралы міндетті сұрау. Бұл құбылысты елемеу біз әлі емдей алмайтын жағдайлардың көшкін тәрізді өсуіне әкелуі мүмкін.