Калифорниядағы Шаста тауындағы оқиға қателіктің бағасы — денсаулық пен өмір болып табылатын мәселелерде жасанды интеллектке сенім шекаралары туралы мәселені тағы да көтереді. Google-дің Gemini чат-ботының көмегімен өрмелеуге дайындалған үш турист маршрутты бағаламаудың ауыр салдарына тап болды. Нейрожелі, белгілі болғандай, топқа нақты көтерілу үшін қажет болғаннан айтарлықтай аз азық-түлік пен су алуды ұсынған.
Жоспарланған өрмелеу уақыты сегіз сағатты құраған, алайда нақты көтерілу 16 сағатқа созылды. Туристер қараңғы түскенде түсе бастады, бұл қатысушылардың бірінің тізесінің жарақаттануына әкелді. Нәтижесінде топ жолдан адасып, құтқарушылар оларға көмек көрсетіп, жолдың басына дейін жеткізбес бұрын, каньонда түнеуге мәжбүр болды.
Алгоритмдердің қауіпті өзіне сенімділігі
Бұл оқиға — жеке мысал емес, кеңірек мәселенің белгісі. Gemini қоса алғанда, заманауи тілдік модельдер мәтінді генерациялау және деректерді талдаумен тамаша жұмыс істейді, бірақ олардың нақты физикалық жүктемелер, ауа райы жағдайлары және белгілі бір жердің ерекшеліктері туралы «білімдері» көбінесе орташа немесе ескірген сипатта болады. Алгоритм жеке физикалық дайындықты, жолдың ағымдағы жағдайын және тәжірибелі рейнджер сол жерде бағалайтын басқа да маңызды айнымалыларды ескермейді.
Құтқару операциясын жүргізген Сискию округінің шериф кеңсесі ИИ-ден алынған кез келген ақпаратты жергілікті сарапшылардан қайта тексеру қажеттілігін атап өтті. Бұл мүлдем дұрыс тәсіл: ИИ алғашқы талдауға арналған құрал болуы керек, ал қауіпсіздік мәселелерінде түпкілікті беделді орган емес.
Менің аналитик ретіндегі көзқарасым: Туризм мен белсенді демалысқа арналған ИИ-шешімдер нарығы өсуде, бірақ әзірлеушілер мұндай сценарийлерде нақты ескертулер мен шектеулерді енгізуі керек. Модельдер датчиктерден алынған нақты деректерді, ауа райы болжамдарын және қауымдастықтың өзекті есептерін біріктіруді үйренбейінше, экстремалды жағдайларда оларға сену — тым қымбатқа түсуі мүмкін тәуекел. Шастадағы оқиға — технологияның әлі адам тәжірибесі мен ақыл-парасатты алмастыра алмайтынын еске салатын жарқын мысал.