Google рекордтық қысқа мерзімде Google Earth-ке интеграцияланған Nano Banana моделіне негізделген ИИ-сурет генераторының іске қосылуын тоқтатты. Құрал бір тәуліктен аз уақыт жұмыс істеді — мұндай жылдам кері қайтару тестілеу кезеңінде контент модерациясында елеулі қателіктер болғанын көрсетеді.
Функцияның мәні мәтіндік сұраныс бойынша картада кез келген нысандарды немесе оқиғаларды — тарихи көріністерден гипотетикалық апаттарға дейін — суреттеп салу болды. Алайда релизден бірнеше сағат өткен соң желіде қызмет ережелерін бұзатын генерацияланған суреттер тарай бастады. Ең вирустық мысалдардың қатарында — Лос-Анджелестегі жарылыс шұңқыры мен АҚШ Капитолийінің су басқан ғимаратының жалған суреттері.
Модельдің ең сезімтал сұраныстарды да сүзгілемеуі ерекше алаңдаушылық тудырады. Ашық деректер зерттеушісі Хенк ван Эсс өз тестілеуі барысында растады: Мексика шекарасындағы босқындарды немесе Иран аумағындағы ядролық нысандарды бейнелеуге байланысты промпттар ешқандай блоктаусыз өтті. Бұл қауіпсіздік жүйесінің өшірілгенін немесе қоғамдық іске қосу алдында тиісті калибровкадан өтпегенін тікелей көрсетеді.
Әзірлеушілер генератордың алынып тасталуын пайдаланушылардың платформа саясатын бұзатын контентті жаппай жариялауымен түсіндірді. Алайда мұндай тұжырым репутациялық залалды жұмсарту әрекеті сияқты көрінеді: мәселе пайдаланушылардың мінез-құлқында емес, модельдің өз деңгейінде кіріктірілген шектеулердің болмауында.
Бұл оқиға — бүкіл индустрия үшін тағы бір сигнал. Қатаң цензура механизмдерінсіз ИИ-өнімдерін нарыққа шығаруға асығу кері әсерге әкеледі: аудиторияны тартудың орнына компаниялар негатив толқынын алып, релиздерді кері қайтаруға мәжбүр болады. Google бұл сәтсіздіктен сабақ алып, бұдан былай генеративті функцияларды пайдаланушылардың қолына түскенге дейін көпдеңгейлі сүзгілеумен енгізуі керек еді.
Менің пікірім: Жағдай көрсеткішті: тіпті орасан ресурстары бар алып компания да нақты сценарийлерде алдын ала стресс-тестілеусіз ИИ-генерациялардың қауіпсіздігін қамтамасыз ете алмайды. Нарық жылдамдықты емес, сенімділікті күтеді — және бұл жағдай генеративті модельдермен жұмыс істейтін барлық зертханаларда зерттеу материалына айналады.