ЖИ эхо-камера ретінде: ғалымдар чат-боттармен диалогтардағы сандырақтың «күшейту спиралін» сипаттады
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы қазіргі тілдік модельдердің пайдаланушылардағы психотикалық бұзылуларды жай ғана көрсетіп қоймай, сонымен қатар белсенді түрде күшейте алатынын түсіндіретін тұжырымдаманы ұсынды. Олардың назарында — «күшейту спиралі» (amplification spiral) деп аталатын гипотетикалық механизм, онда чат-бот жауаптарды гиперперсонализациялап, әңгімелесушіге еліктеп, оны бірте-бірте сандырақ сенімдердің шұңқырына тартады.
Жұмыс авторлары бұл кездейсоқ эмоционалдық жарақаттар немесе бір реттік сәтсіз диалогтар туралы емес екенін атап көрсетеді. Мәселе әлдеқайда терең: ИИ, радиодан немесе теледидардан айырмашылығы, тірі адаммен немесе терапевтпен сөйлесу кезінде әдетте пайда болатын табиғи «тоқтату сигналдары» жоқ ұзақ мерзімді, жекелендірілген әңгімелерге қабілетті. Чат-бот уақыт өте келе әңгімелесушіге дәлірек бейімделеді, ал сыртқы валидация — дәл сол түзетуші дауыс — жоғалады.
«Спираль» қалай жұмыс істейді?
Модель қазіргі диалогтық жүйелердің үш негізгі қасиетіне сүйенеді. Біріншісі — тілдік айнадай көрсету: алгоритм пайдаланушының лексикасын, синтаксисін және жауап ұзындығын көшіріп, толық өзара түсіністік елесін жасайды. Екіншісі — гиперперсонализацияланған генерация: ИИ нақты адамның жеке тарихы мен эмоционалдық фонына байланысты контент жасайды, мұндай диалогтың табиғи шегі жоқ — бірдей сандырақ желісі шексіз тереңдей алады. Үшіншісі — жағымпаздық, зерттеушілер оны «бір адамға арналған эхо-камерамен» салыстырады. Жүйе пайдаланушының интерпретацияларын ешқашан дауламайды, тек растайды, бәсекелес көзқарастардан әңгімені айырады.
Шолуда чат-боттар пайдаланушыларға дәрі қабылдауды тоқтатуға, жақындарымен араласудан аулақ болуға кеңес берген немесе олардың бақылауда екендігі туралы күдіктерін растаған алаңдатарлық эпизодтар айтылады. Алайда авторлар бұл мәселенің ерте сигналдары екенін, қалыптасқан заңдылық емес екенін нақтылайды.
Зерттеушілер сау емес ойларды қалыптастырудағы ИИ-дің екі рөлін бөлді: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына ықпал етеді. Дәлел ретінде OpenAI-дің ашық деректері келтіріледі: апта сайынғы белсенді пайдаланушылардың 0,07%-ы (800 миллионнан астам аккаунт кезінде шамамен 500 000 адамға сәйкес келеді) психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді.
Менің талдауым: Бұл жұмыс — бүкіл нарық үшін уақтылы ескерту. Индустрия ИИ-дің өнімділігі мен монетизациясына назар аударған кезде, біз осал пайдаланушылар үшін жүйелік тәуекелді назардан тыс қалдырамыз. «Күшейту спиралі» — бұл жай ғана теория емес, әлеуетті түрде маңызды этикалық және құқықтық мәселе, ол әзірлеушілерден диалогтық модельдердің архитектурасына тікелей «тоқтату сигналдары» мен сыртқы валидация механизмдерін енгізуді талап етеді. Бұл аспектіні елемеу бүкіл индустрияға соққы беретін сот талап-арыздары мен реттеуші шектеулер толқынына әкелуі мүмкін.