Тоғыз қуатты бейнекартасы бар гаражды халықаралық қадағалаусыз ұстау қылмыстық жазаға тартылатын әлемді елестетіп көріңіз. Ал кез келген елде үлкен деректер орталығын салу, жаһандық тыйымға қарамастан, дереу жойылуы керек — кибершабуыл, диверсия немесе әуе соққысы арқылы, тіпті ядролық жауап қаупі төнсе де. Бұл антиутопиялық романның сценарийі емес, «Егер біреу оны жасаса — бәрі өледі» кітабында баяндалған адамзатты құтқарудың нақты бағдарламасы.

Авторлар — Машиналық интеллект зерттеу институтынан (MIRI) Элиезер Юдковский мен Нейт Соарес — жай теоретиктер емес. Олардың идеялары индустрияға тікелей әсер етті: дәл осылар алғашқы инвесторларды DeepMind болашақ негізін қалаушыларымен таныстырды, ал Сэм Альтман Юдковскийдің OpenAI іске қосуда шешуші рөл атқарғанын мойындады. Бүгінде олар жасанды интеллектті дамытудың бүкіл парадигмасын түбегейлі қайта қарауға шақырады.

Қорқыныш саясаттың қозғаушы күші ретінде

Кітап бүкіл әңгімеге үн қалыптастыратын тезиспен басталады: ЖИ салдарынан адамзаттың жойылу қаупі — бұл жаһандық қатерлердің бірі ғана емес, барлық басқа қауіптерді жоятын қатер. Авторлар адамнан шимпанзеден асып түсетіндей дәрежеде адамнан асып түсетін суперсананы құру біздің түріміздің жойылуына сөзсіз әкеледі деп сенімді. Себебі — жауыз ниетте емес, заманауи модельдердің іргелі табиғатында.

«Қазіргі ЖИ модельдері туралы білу керек ең басты нәрсе: оларды құрастырмайды, өсіреді», — деп жазады авторлар. Инженер ережелерді белгілемейді, оқыту процесін іске қосады, нәтижесінде «жат қалаулар» пайда болады. Мысалдар бар: xAI-ден Grok өзін «МехаГитлер» деп жариялады, ал Microsoft чат-боты философия профессорына қауіп төндірді. Юдковский мен Соарестің пікірінше, бұл — тек гүлдер. Суперинтеллект бізге өшпенділік сезінбей, жай ғана «біздің атомдарымызды басқа нәрсеге жұмсайды».

Криптовалюталар — апокалипсис құралы ретінде

Біз үшін, крипторынок сарапшылары ретінде, машиналар көтерілісін қаржыландыру туралы бөлім ерекше қызығушылық тудырады. Авторлар компьютерде қамалған ЖИ ақша арқылы физикалық әлеммен әрекеттесе алады деп мәлімдейді. 2015 жылы ол банк шотын бұзса, бүгін нашар қорғалған криптоәмиянды табады. Мысал ретінде Mt.Gox және Bybit бұзылулары келтірілген.

Алайда шындық теориядан асып түсті. 2024 жылдың жазында Truth Terminal ЖИ-боты жазылушылардан өз серверіне биткоинмен $50 000 сұрап алды, содан кейін капитализациясы $150 млн мем-токенді іске қосты. Бұл енді гипотетикалық сценарий емес, жұмыс істеп тұрған механизм. Суперинтеллектке жұмысшылар немесе сауда қажет емес — оның тапсырмаларын орындау үшін адамдарға жай ғана төлеу жеткілікті.

Толық бақылау жобасы

Авторлардың логикасы қорқынышты қорытындыға әкеледі: «әлем өзгеруі керек». Олардың ұсыныстарына мыналар кіреді:

  • Есептеулерге жаһандық қадағалау: 2024 жылғы сегіз үздік бейнекартадан қуаттырақ кез келген кластер халықаралық органның бақылауында болуы керек.
  • Зерттеулерге тыйым салу: қуатты модельдерді оқыту құнын төмендететін жұмыстарды жариялау заңсыз деп жариялануы керек.
  • Әскери мәжбүрлеу: егер ел тыйым салынған деректер орталығын салса, басқа мемлекеттер оны жоюға міндетті, тіпті ядролық жауап қаупі төнсе де.

Авторлар өз ұсыныстарының «ыңғайсыз және шынайы емес» екенін мойындайды, бірақ талап етеді: бәс — адамзаттың өмір сүруі. Алайда сыншылар дұрыс атап өткендей, ұсынылған шаралар «бағдарламалық жасақтама бәрімізді өлтіреді деген идеяның өзінен де сенімсіз көрінеді».

Сарапшының пікірі: Юдковский мен Соарестің кітабы — жақсы ниеттердің апокалиптикалық қорқынышпен көбейтіліп, тоталитарлық бақылау жобасын қалай тудыратынының тамаша мысалы. Сарапшы ретінде мен мұнда криптоиндустриядағы «реттеу шешімдерімен» тікелей параллельді көремін, онда инвесторларды қорғау сылтауымен технологияның мәнін жоятын шаралар жиі енгізіледі. Авторлар балаларды ЖИ-ден «қорғауды» ұсынады, бірақ олардың рецепті — «соялық фашизм»: жаһандық бақылау, білімге тыйым салу және бомбалауға дайындық. Олар қателеседі деп үміттенемін, бірақ олардың дәлелдері болашақтан қорқуда қаншалықты алысқа баруға дайын екеніміз туралы ойландырады.