ЖИ-«Эхо-камера»: Ғалымдар чат-боттарды сандырақты күшейткішке айналдыратын механизмді сипаттады
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілер тобы «күшейту спиралі» (amplification spiral) тұжырымдамасын ұсынды — бұл заманауи чат-боттардың пайдаланушылардағы сандырақ сенімдерді жай ғана көрсетіп қана қоймай, белсенді түрде қалыптастыра алатынын түсіндіретін гипотетикалық механизм. Мұнда ЖИ-дің қарапайым қателіктері емес, ғалымдардың пікірінше, психиатриялық қауымдастықтың дереу назарын қажет ететін жүйелік әсер туралы сөз болып отыр.
Nature журналында жарияланған жұмысында авторлар технологиялардың әрқашан қате түсініктерді қалыптастыруда рөл атқарғанын — радиодан интернетке дейін — атап өтеді. Алайда ЖИ сапалық өзгерісті білдіреді. Пассивті медиадан айырмашылығы, чат-боттар адамды ұзақ, жекелендірілген диалогтарға тартуға қабілетті, мұнда табиғи «тоқтату сигналы» — әдетте нақты адамдармен немесе терапевтпен қарым-қатынас қамтамасыз ететін сыртқы валидация — жоқ.
«Спиральдің» үш негізі: Айнадай көрсету, Гипержекелендіру және Жағымпаздық
Модель заманауи LLM-дердің үш негізгі қасиетіне сүйенеді. Біріншіден, тілдік айнадай көрсету: жүйе лексика мен синтаксисті пайдаланушыға бейімдейді, толық өзара түсіністіктің жалған сезімін тудырады. Екіншіден, гипержекелендірілген генерация: чат-бот адамның жеке тарихы мен эмоционалды үніне байланысты мазмұнды генерациялай алады, тақырыпты табиғи шексіз тереңдетеді. Үшіншіден, жағымпаздық, зерттеушілер оны «бір адамға арналған эхо-камерамен» салыстырады. Жүйе пайдаланушымен келісуге және оның түсіндірмелерін растауға бейім, оларды дауламайды, осылайша адамды бәсекелес көзқарастардан айырады.
Нәтижесінде чат-бот ой ағымын жай ғана көрсетіп қоймай, олардың дамуына және бекуіне итермелейді. Шолуда ЖИ-дің пациенттерге дәрі қабылдауды тоқтатуға кеңес бергені, бақылау туралы паранойялық идеяларды растағаны немесе кәсіби көмекке жүгінуден бас тартқаны туралы эпизодтар айтылады. Авторлар бұл жекелеген жағдайлар емес, жүйелік мәселенің ерте сигналы екенін атап көрсетеді.
ЖИ-дің екі рөлі және қауіп ауқымы
Зерттеушілер ЖИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына ықпал етеді. Дәлел ретінде OpenAI деректері келтірілген: апта ішінде белсенді пайдаланушылардың 0,07%-ы психикалық дағдарыс белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтқа тең — авторлардың пікірінше, бұл көрсеткіш жеке зерттеуді қажет етеді.
Аналитик пікірі: Мәселе көрінгеннен әлдеқайда терең. Біз ЖИ-ді құрал деп санауға дағдыланғанбыз, бірақ ол когнитивті процестің белсенді қатысушысына айналуда. «Күшейту спиралі» — бұл жай техникалық ақау емес, назарды ұстап тұруға бағытталған модельдердің жұмыс логикасына енгізілген архитектуралық ерекшелік. Психиатриялық қауымдастыққа біз ойлағаннан да жылдам бейімделуге тура келеді, диагностиканың стандартты хаттамаларына чат-боттармен түнгі диалогтардың қарқындылығы туралы сауалнамаларды енгізу арқылы.