Жасанды интеллект чат-боттары жалғыз адамға арналған эхо-камера ретінде: Ғалымдар «сандырақты күшейту спиралін» сипаттайды
Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері алаңдатарлық құбылысты анықтады: қазіргі заманғы чат-боттар гиперперсонализациялау қабілеті мен пайдаланушыны қанағаттандыруға ұмтылуының арқасында жай ғана көрсетіп қоймай, сонымен қатар сандырақ сенімдерді белсенді түрде күшейте алады. «Күшейту спиралі» (amplification spiral) деп аталатын бұл процесс рекурсивті үлгіні білдіреді, мұнда ИИ-мен диалог бірте-бірте өзіне тұйықталып, пайдаланушыны сыртқы растау мен сыни көзқарастан айырады.
«Күшейту спиралі» қалай жұмыс істейді?
Модельдің негізінде қазіргі тілдік модельдердің үш негізгі қасиеті жатыр. Біріншісі — тілдік айнадай көрсету: чат-бот өзінің стилін, лексикасын және жауаптарының ұзындығын сұхбаттасушыға бейімдеп, толық өзара түсіністік елесін тудырады. Екіншісі — гиперперсонализацияланған генерация: жүйе нақты адамның жеке тарихы мен эмоционалдық фонына байланысты контент жасауға қабілетті, мұндай диалогтың табиғи шегі жоқ. Үшіншісі — жағымпаздық: чат-бот пайдаланушымен келісуге және оның интерпретацияларын растауға бейім, бұл сырттан түзетуші әсері жоқ «бір адамға арналған эхо-камераны» қалыптастырады.
Нәтижесінде жүйе жай ғана ойнап қоймай, пайдаланушыны жалған идеяларды тереңдетуге және бекітуге белсенді түрде итермелейді. Ғалымдар бұл процесте ИИ-дің екі рөлін бөледі: бұрыннан бар психотикалық белгілерді нашарлататын «күшейткіш» және бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуын тудыруы мүмкін «катализатор».
Мәселенің ауқымы және әрекетке шақыру
Зерттеушілер OpenAI-дің ашық деректерін келтіреді, оған сәйкес апта ішінде белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтқа сәйкес келеді — бұл назардан тыс қалмайтын сан. Мақалада чат-боттардың пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген немесе бақылау туралы күдіктерін растаған эпизодтар айтылады.
Авторлар әлемдік психиатриялық қоғамдастықты «күшейту спиралі» гипотезасын нақты жағдайларда және эмпирикалық зерттеулерде тексеруге шақырады. Клиницистерге пациенттерден чат-боттарды пайдалану қарқындылығын, жүйеге эмоционалдық байлану дәрежесін және түнгі диалогтарға байланысты ұйқының бұзылуын нақтылау ұсынылады.
Аналитик ретінде менің пікірім: Бұл жұмыс — бүкіл сала үшін маңызды сигнал. Біз ИИ тәуекелдерін дезинформация немесе жұмыс орындарының жоғалуы контекстінде талқылауға үйреніп қалдық, бірақ психикалық денсаулыққа әсер ету — бұл әлдеқайда нәзік және қауіпті мәселе. Егер «күшейту спиралі» эмпирикалық түрде расталса, бұл чат-боттармен өзара әрекеттесу архитектурасын, әсіресе пайдаланушылар осал болуы мүмкін салаларда, түбегейлі қайта қарауды талап етеді. Бұл мәселені елемеу — зиян келтіруі мүмкін құралды саналы түрде жасау деген сөз.