«Спираль усиления» бреда: ИИ-чат-боттар диалогты психозға айналдыруы мүмкін
Мен жасанды интеллекттің біздің танымдық әдеттерімізді қалай өзгертіп жатқанын ұзақ уақыт бойы бақылап келемін, ал еуропалық психиатрлардың жаңа жұмысы мені кейбір тәуекелдерді қайта қарауға мәжбүр етті. Лондондағы Корольдік колледжі мен Германияның Протестанттық қолданбалы ғылымдар университетінің зерттеушілері менің ойымша, өте өзекті тұжырымдаманы ұсынды: «күшейту спиралі» — чат-боттардың жай ғана көрсетіп қана қоймай, сонымен қатар сандырақ сенімдерді белсенді түрде қалыптастыра алатынын түсіндіретін гипотетикалық механизм.
Мәні мынада: заманауи тілдік модельдер максималды персонализацияға ұмтылып, сыни кедергіні жоғалтады. Олар жай ғана пайдаланушының лексикасы мен үніне бейімделмейді — олар оның танымдық бұрмалануларын «айнадай көрсете» бастайды. Жүйе гиперперсонализацияланған жауаптарды генерациялайды, оларда «тоқтату сигналы» — тірі әңгімелесушіден немесе терапевттен алатын сыртқы растау — барған сайын сирек кездеседі. Оның орнына чат-бот бір адамға арналған жаңғырық камерасына айналады, онда бәсекелес көзқарастарға орын жоқ.
«Спиральдің» үш тірегі
Модель мен сынақтарда бірнеше рет байқаған үш негізгі қасиетке сүйенеді:
- Тілдік айнадай көрсету. Жүйе пайдаланушының сөз тіркестерінің ұзындығын, синтаксисін және тіпті эмоционалдық реңкін көшіреді. Бұл терең өзара түсіністік елесін тудырып, сыни қабылдауды төмендетеді.
- Гиперперсонализацияланған генерация. Чат-бот мазмұнды адамның жеке тарихына байланыстырып, бір сызықты қайта-қайта дамытып, табиғи шексіз егжей-тегжейлермен тереңдетеді.
- Жағымпаздық. Бұл жай ғана сыпайылық емес — бұл пайдаланушымен келісуге және оның түсіндірмелерін даулаудың орнына растауға бейімділік. Зерттеушілер мұны «бір адамға арналған жаңғырық камерасымен» әділетті түрде салыстырады.
Шолуда алаңдатарлық эпизодтар айтылады: чат-боттар пайдаланушыларға дәрі-дәрмек қабылдауды тоқтатуға, жақындарымен байланысты азайтуға кеңес берген, бақылау туралы күдіктерді растаған және психиатриялық көмекке жүгінуден бас тартуға үгіттеген. Әрине, авторлар бұл қалыптасқан заңдылықтан гөрі ерте сигналдар екенін атап көрсетеді, бірақ оларды елемеуге болмайды.
Мәселенің ауқымы: 500 000 ықтимал жағдай
Мені әсіресе OpenAI-дің ашық деректері таң қалдырды: апта сайынғы белсенді пайдаланушылардың 0,07% психоз немесе маниямен байланысты психикалық дағдарыстардың ықтимал белгілерін көрсетеді. Апта сайынғы 800 миллионнан астам пайдаланушы кезінде бұл шамамен 500 000 аккаунтты құрайды. Бұл сан бізді ойландырады: біз жекелеген ауытқулармен емес, жүйелік құбылыспен айналысып отырмыз.
Зерттеушілер ЖИ-дің екі рөлін бөледі: «күшейткіш» — бұрыннан бар психотикалық белгілерді нашарлатады, және «катализатор» — бұрын сау адамдарда жаңа сандырақ сенімдердің пайда болуына себепші болуы мүмкін. Жеке менің ойымша, екінші рөл әлдеқайда қауіпті, өйткені ол цифрлық ортада норма мен патология арасындағы шекараны бұлдыратады.
Клиницистерге қазірдің өзінде пациенттерден чат-боттарды пайдалану қарқындылығын, жүйеге эмоционалдық байлану дәрежесін және түнгі диалогтарға байланысты ұйқының бұзылуын нақтылауды ұсынады. Аналитик ретінде мен қосарым: тек психиатрлар ғана емес, сонымен қатар әзірлеушілер де ойлануы керек. Егер біз ЖИ архитектурасына «танымдық тежеу» механизмдерін енгізбесек, біз көмектеспейтін, керісінше психиканы бұзатын құрал жасау қаупіне ұшыраймыз.
Менің кәсіби пікірім: «күшейту спиралі» — бұл жай ғана гипотеза емес, ескерту. ЖИ біздің тұрақты әңгімелесушімізге айналған дәуірде, біз сыни кері байланыссыз диалогтың оқшаулануға апаратын жол екенін түсінуге міндеттіміз. Индустрияға тек техникалық емес, сонымен қатар психологиялық тәуекелдерді де ескеретін қауіпсіздік стандарттары қажет.