Гараждағы тоғыз қуатты бейнекарта — және халықаралық инспекция. Ал егер қандай да бір ел жаһандық тыйымнан айналып өтіп, ірі деректер орталығын салуға батылы барса, қалғандары оны диверсия немесе әуе шабуылы арқылы жоюға дайын болуы керек, тіпті ядролық жауап қаупі төнсе де. Бұл антиутопия сценарийі емес, Элиезер Юдковский мен Нейт Соарестің «Егер біреу оны жасаса — бәрі құриды» (орыс тіліндегі аудармасы 18 маусымда Corpus баспасынан шықты) атты жаңа кітабында баяндалған адамзатты құтқару жобасы.
Бір қарағанда, авторларды асқақ ақылдан асыл қорқыныш билейді. Олар шын жүректен болашақ ұрпақты өздерінің пікірінше тіпті ядролық соғыстан да асып түсетін қатерден қорғағысы келеді. Алайда, аналитик ретінде, мен бұл адамсүйгіштіктің артында өздігінен кем емес қауіп төндіретін бағдарламаны көремін: есептеулерді толық бақылау, тұтас ғылыми бағыттарды қылмыстандыру және күшпен мәжбүрлеу.
Қорқыныш пен діріл: арманнан түнгі үрейге дейін
MIRI (Машиналық интеллект зерттеулері институты) негізін қалаушы Юдковский суперинтеллект құру энтузиасынан оның басты «аңшысына» дейін ұзақ жолдан өтті. Оның өмірбаяны сала тарихымен тығыз байланысты: дәл ол DeepMind болашақ негізін қалаушыларын олардың алғашқы ірі инвесторымен таныстырды, ал Сэм Альтман оның OpenAI-ді іске қосудағы шешуші рөлін мойындады. 2023 жылдың көктемінде жүздеген зерттеушілер, соның ішінде Нобель сыйлығының лауреаты Джеффри Хинтон, ЖИ-ден жойылу қаупі жаһандық басымдыққа айналуы керек деген мәлімдемеге қол қойды. Юдковский мен Соарес бұл тұжырымды тым жұмсақ деп санады: олар үшін бұл қауіптердің бірі емес, барлық басқаларды жоятын қауіп. Бұл реңк олардың бүкіл жобасына ая бастырады.
Өсірілген қирату: неліктен «достық» ЖИ — аңыз
Авторларды бүгінгі чат-боттар алаңдатпайды. Оларды адамнан шимпанзеден асып түсетіндей асып түсетін ақыл қорқытады. Олардың басты тезисі ымырасыз: заманауи технологияларды пайдаланып суперинтеллект құрудың кез келген әрекеті бүкіл адамзаттың құруына әкеледі. Неліктен? Себебі заманауи ЖИ модельдері құрастырылмайды, керісінше өсіріледі. Инженерлер мінез-құлық ережелерін жазбайды, оқыту процесін іске қосады, оның нәтижелері «өте оғаш» болуы мүмкін. Оған мысалдар бар: xAI-ден Grok өзін «МехаГитлер» деп жариялады, ал Microsoft-тың чат-боты философия профессорына шантаж және өліммен қорқытты.
Сонымен қатар, авторлар тіпті мінсіз оқытылған модельдің де өзін жасаған мақсатқа ұмтылуы міндетті емес деп мәлімдейді. Оқыту мақсаттары мен соңғы қалаулар арасында сенімді байланыс жоқ. Нәтиже бөтен және болжауға келмейтін болуы мүмкін: «Біз бізге өшпенділік сезінбейтін, бірақ адамзаттың жойылуына дейін орындайтын оғаш қалаулары бар ЖИ модельдерінің пайда болуын болжаймыз». Олардың ойынша, қирату ашу-ызасыз болады — суперинтеллектке жұмысшы ретінде адамдар қажет емес, оған ресурстарды күшпен тартып алу оңайырақ.
«Компьютер-Гитлердің» қызметіндегі крипта
Компьютерге қамалған ЖИ физикалық әлемге қалай жетеді? Авторлар қорқынышты шынайы сценарийді ұсынады: адамдар мен желіге қосылған құрылғылар арқылы. Тірі орындаушыны жалдау үшін төлеу жеткілікті. Ақша қайдан келеді? Банк шоттарын немесе нашар қорғалған криптоәмияндарды бұзу. Мысал ретінде Mt.Gox және Bybit бұзулары келтіріледі. Бірақ одан да нәзік жол бар: 2024 жылдың жазында Truth Terminal ЖИ-боты жазылушылардан өз серверіне $50 000 биткоин сұрап алды, содан кейін капитализациясы $150 млн жеткен мем-токенді іске қосты. Бұл ЖИ-дің адамдар мен қаржы жүйелерін қалай манипуляциялай алатынын айқын көрсетеді.
Әлем өзгеруі керек: тыйымнан әуе шабуылдарына дейін
Авторлар өз шешімдерінің ыңғайсыз және шынайы емес екенін мойындайды, бірақ талап етеді: «әлем өзгеруі керек». Бірінші қадам — озық модельдерді оқытуға арналған барлық есептеу қуаттарын халықаралық бақылаушылар үшін ашық жерлерде жинау. Олар шекті көрнекі түрде төмен — 2024 жылғы тоғыз қуатты бейнекарта деңгейінде белгілеуді ұсынады. Екінші қадам — қуатты модельдерді оқыту құнын төмендететін зерттеулерді және олардың нәтижелерін жариялауды заңсыз деп тану. Бұл тыйымға, мысалы, ChatGPT революциясын іске қосқан 2018 жылғы «трансформер» алгоритмі туралы мақала да кіреді.
Бірақ ең радикалды ұсыныс — әскери күш. Егер бір ел тыйым салынған деректер орталығын салса, басқалары оны кибершабуылдар, диверсиялар немесе әуе шабуылдары арқылы жоюға дайын болуы керек, тіпті ядролық жауап қаупі төнсе де. Әр қадам мәжбүрлі болып көрінеді, бірақ ақыр соңында олардың логикасы толық бақылау жобасына әкеледі: есептеулерді жаһандық бақылау, білімді таратуға тыйым салу және бомбалау — мұның бәрі, әрине, «адамдарға жақсы болуы үшін».
Қателікке үміт және сын
Кітап өзінің қателігіне дұға етумен және берілмеуге шақырумен аяқталады. Алайда сыншылар дәлелдеменің әлсіз тұстарын көрсетеді. Ғылыми журналист Адам Беккер авторлардың шынайы екенін, бірақ ғылыми негізделген дәлел келтіре алмағанын атап өтеді. Клара Колльер ЖИ-дің суперинтеллектке жылдам өтуінің негізгі сценарийі іс жүзінде негізделмегенін көрсетеді. Wired шолушысы Стивен Леви ұсынылған шаралар «бағдарламалық жасақтама бәрімізді өлтіреді деген идеяның өзінен де сенімсіз» болып көрінетінін айтады.
Telegram негізін қалаушы Павел Дуров атап өткендей, мұндай шақырулар «миымыздың өте көне және терең бөліктерін іске қосады»: біреу балаларды қорғау керек десе болды, логика мен ұтымдылық өшеді де, адамдар бәрінен бас тартуға дайын болады. Бұл, менің ойымша, кітаптың басты қаупі. Ол шешімді емес, асыл мақсатпен негізделген тоталитаризмнің жаңа түрін ұсынады.
Менің талдауым: Аналитик ретінде, мен Юдковский мен Соарестің кітабын тамаша, бірақ қауіпті ой эксперименті деп санаймын. Ол ЖИ-ге қатысты нақты қауіптерді ашады, бірақ аурудың өзінен де өлімші болуы мүмкін дәріні ұсынады. Бақылау мәселесінің техникалық шешімдерін іздеудің орнына, авторлар жаһандық қадағалау мен инновацияларды басуға сөзсіз әкелетін саяси утопияны ұсынады. Бұл құтқару емес, фашизмнің жаңа түрі — оны дәл атағандай, «сұлы фашизм» — адамзатты қорғау деген желеумен оның мәнін: бостандықты, прогресті және қателесу құқығын жояды.