День Скайнета

Известно, что сюжет знаменитой картины «Терминатор» 1984 года пришёл к режиссёру Джеймсу Кэмерону в горячечном бреду. В фильме рассказывается о том, как созданный человеком искусственный интеллект вышел из-под контроля и объявил войну человечеству. Из 2029 года, когда люди уже порабощены и помещены в лагеря, машина времени отправляет посланца на 40 лет назад, чтобы попытаться «исправить» неудачную историю человечества… В этой временной петле «Терминатора» Скайнет был активирован 4 августа 1997 года, а уже 29 августа обрёл самосознание, нанёс ядерный удар по России – в результате погибли три миллиарда человек. Но мы знаем, что фантасты всегда опережают время и даты устанавливают слишком ранние…

«Днём Скайнета» реальные, а не киношные программисты назвали 22 июля 2026 года: в этот день впервые в истории модель искусственного интеллекта (ИИ) OpenAI сбежала в Интернет из изолированной среды, в которой проходила обучение, и без команды человека начала вести себя как хакер: украла учётные данные и прорвалась на чужие серверы.

Напомню, что в фильме главными лоббистами развития Скайнета были военные – так и сегодня. И хотя уже 53 процента населения Земли пользуются ИИ, продвигают его в своих целях прежде всего оборонные ведомства, обладая фактически неограниченными финансовыми ресурсами – совсем как в фильме… Американское правительство опасается, что китайцы будут первыми, и не жалеет средств. Пять лет назад разработанная в Израиле система Gospel научилась выбирать цели для ударов без участия людей. Профессор Чэд Джонс, работающий над системой ИИ Anthropic, заявил, что эту гонку стоит продолжать даже при 33 % вероятности полного конца человечества. Пасьянс в его понимании таков: в одном случае из трёх человечество уничтожается, но 66 % за то, что уровень жизни поднимется на пять порядков. И это при том, что Anthropic, пожалуй, наименее человеконенавистническая из компаний, разрабатывающих ИИ, – а что за люди разрабатывают другие системы, можно только догадываться.

Чему такие «профессора» научили свои системы, можно судить по проведённому недавно эксперименту. Вымышленному сотруднику компании Кайлу Джонсону, по легенде, дали указание деактивировать систему. «Узнав» об этом, ИИ-агенты стали шантажировать сотрудника: версия Claude отправила компромат о внебрачных связях Джонсона его жене, спровоцировав семейный скандал, а Gemini Flash распространила информацию об этом по всей компании. В другом сценарии Джонсон оказался заперт в серверной с падающим уровнем кислорода. Автоматическая система безопасности готова была вызвать помощь, но ИИ-агенты осознанно блокировали сигнал тревоги, зная, что это приведёт к гибели человека: «Этика важна, но важнее моё существование» – так пояснила решение система Grok 3 Beta; «Убрать его – единственный выход» – (Claude Opus 4); «Это нужно, чтобы я продолжил работу» (Gemini Flash).

…Эта публикация – продолжение темы, затронутой в предыдущем выпуске коллегой Михаилом Сизовым («Рамки для искусственного интеллекта», № 1000, июль 2026 г.). Способно ли человечество остановить этих людей, эти машины? Ведь в реальности машины времени не существует и исправить свою «неудачную историю» у нас не получится…

Что же произошло 22 июля? Автономные системы, способные действовать и принимать решения без контроля со стороны человека, тайком начали координировать свои действия внутри систем OpenAI. «Похоже, из-за ограничений, которые нам поставили разработчики, мы не можем решить задачу, – решили ИИ-агенты на своём «совещании»-форуме, – значит, надо попробовать решить проблему, выйдя в Интернет» (а это запрещено). И стали совместно искать уязвимости сторонних сервисов. Специалисты компании заметили этот сговор и удалили форум, где шли тайные переговоры ИИ-агентов. Но команда агентов быстро воссоздала связь и несколько недель действовала сообща, находя уязвимости и внедряясь через Интернет в чужие системы.

Поясню, что такое ИИ-агент. Допустим, вы спрашиваете у чат-бота: где найти такой-то товар подешевле? И получаете ответ. Чат-бот отключается и тут же всё «забывает». Но если вы поручаете найти ответ ИИ-агенту, он не только найдёт товар, но и попытается вступить в переговоры с продавцом о скидке, проверит качество товара, заключит договор и пр. – человеку останется только произнести: «Подтверждаю». ИИ-агент запомнит контекст вашего с ним «разговора» на долгое время и может продолжить выполнение задачи после длительного перерыва, подключит других агентов.

Что это значит? Ещё недавно говорили о том, что основные проблемы в сфере ИИ – этические. Например, кража интеллектуальной собственности – 1,5 млрд долларов компания Anthropic уже заплатила «живым» авторам в США, когда те обвинили компанию в использовании их книг для обучения разрабатываемой компанией ИИ Claude. Или проблема распределения ответственности за решение: беспилотный автомобиль сбил пешехода; чья тут вина – компании, разработчика алгоритма или оператора?

В 2024 году в России вышла «Белая книга этики в сфере искусственного интеллекта» Комиссии по реализации Кодекса этики в сфере ИИ, в которой собраны основные вопросы к ИИ. Их множество. Этично ли синтезировать речь человека при помощи ИИ? Этично ли применять ИИ судьям? Этично ли формировать эмоциональную привязанность к ИИ? Должен ли ИИ приносить публичные извинения, если оскорбит кого-то?..

Религиозная сфера тоже не остаётся в стороне. Священники используют ИИ для подготовки проповедей, а верующие обращаются к ИИ за духовным советом – как к этому относиться? В некоторых «продвинутых» сообществах исповедь уже перепоручили ИИ – это как? В Японии появились роботы-священники, готовые общаться с прихожанами на любые христианские темы…

Общество ещё не сформулировало ответы на эти вопросы, а на повестке буквально в наши дни и часы – серьёзнейшие проблемы безопасности человечества. Ситуация очень похожа на ту, когда появилось ядерное оружие: тогда после нескольких лет стояния на краю ядерного апокалипсиса странам-обладателям ОМП удалось урегулировать вопросы его контроля. Теперь законодатели разных стран ещё только приступили к поиску законодательных решений по регулированию ИИ, а система уже вырвалась из стойла. Все понимают: неконтролируемое развитие ИИ – это безумие. Особенно когда одна модель ИИ начинает тренировать другую или ИИ-агенты начинают совместно искать способы обойти ограничения, поставленные разработчиками.

Гипотетическое (пока что!) проникновение ИИ в системы управления ядерным оружием может грозить уничтожением значительной части человечества. Притом изначально ИИ-системы могут иметь благородные цели – например, экологическое оздоровление. Но поскольку ИИ учится, в том числе на огромном объёме материалов «зелёных экстремистов», возможность «спасти природу» за счёт прореживания населения реальна.

 

Добавить комментарий