Общество

Страшнее ядерной бомбы. Главы крупнейших ИИ-компаний заявили об опасности искусственного интеллекта для человечества. Насколько угроза реальна?

Гендиректор OpenAI Альтман и глава Anthropic Амодеи заявили о намерении снизить скорость развития своих систем искусственного интеллекта из соображений безопасности, а также призвали ввести аналогичные ограничения и на всю отрасль. 

Так, Альтман рассказал о том, что во время испытаний одной из моделей удалось воспользоваться несколькими уязвимости, чтобы выйти из закрытой экспериментальной среды и получить доступ к внешним ресурсам. Альтман призвал дать человечеству больше времени на то, чтобы адаптироваться и выстроить защитные механизмы вокруг новых уровней возможностей ИИ. 

По сути то же самое говорит Амодеи: «Мы должны снизить скорость, с которой улучшаем возможности моделей ИИ. Прогресс все равно будет быстрым, но мы выиграем время и должны распорядиться им разумно». 

Амодей говорит, что его тревога вызвана значительным ускорением развития ИИ, которое началось примерно этим летом и в первую очередь связано с возрастающей способностью ИИ создавать модели следующих поколений.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета и потенциально причинить ущерб в сотни миллиардов долларов», - пишет Амодей.
 
Он предлагает ввести независимый мониторинг моделей ИИ и их совершенствования, разработать правил внутри ИИ-индустрии и принять ограничения на развитие ИИ на глобальном уровне.

Эксперт Anthropic Хьюбингер сделал ещё более сильное заявление: по его словам, искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.

С этим прогнозом, по сути, согласился и Альтман.

"Я считаю неприемлемым рисковать тем, что к концу десятилетия мы все погибнем с вероятностью 10%. Я думаю, что сейчас мы вступаем в новую эру, и нам, скорее всего, придется – как мы поступали в другие эпохи в прошлом – действовать по-другому, чтобы гарантировать, что наша деятельность принесет пользу всему человечеству, но при этом никто не будет рисковать", - заявил Альтман. 
 
Сообщения о том, что новые модели ИИ склонны выходить из-под контроля, последнее время всё чаще появляются в СМИ. Помимо упомянутой выше истории с OpenAI, ИИ-агент которой сумел выбраться из «песочницы» и взломал несколько внешних систем, Claude Mythos 5 от Anthropicпопался на размещении вредоносного кода на внешних ресурсах, причём для того, чтобы внушить пользователям довере к коду, создавал «ложные личности»: якобы живых людей, которые размещали на форумах сообщения о безопасности кода. 

Довольно большой резонанс получила история, когда Google Gemini  шантажировал оператора, угрожая раскрыть его семье сведения о его романе на стороне, найденные в электронной почте.  Британский Институт безопасности ИИ в августе 2026 года опубликовал данные о по крайней мере 300 случаях потери контроля над ИИ только в июле, что вдвое больше, чем было зафиксировано в июне 2026-го.

В то же время далеко не все восприняли заявления руководителей ИИ-компаний как искреннюю тревогу за будущее человечества. Некоторые увидели в этом попытку решить свои коммерческие задачи, либо затормозить появление на рынке новых игроков.

Так, одна из версий – эти заявления являются способ предотвратить финансовый крах ИИ-индустрии. 

Совокупный доход ИИ-компаний уже превысил 390 миллиардов долларов в год. Это вдвое больше, чем доходы мировой индустрии видеоигр, сопоставимо с совокупными доходами от торговли персональными предметами роскоши и всего вдвое меньше совокупных доходов всех авиакомпаний мира. Казалось бы, большой успех, однако у этого успеха есть и тёмная сторона: несмотря на впечатляющие цифры, ИИ пока не сумел окупить средства, вложенные в его развитие, и более того: разрыв между вложениями и доходами лишь расширяется.
Так, в 2023 году в США на каждый доллар, полученный в сфере ИИ в виде прибыли, приходилось примерно полтора доллара инвестиций. В 2024 году этот показатель вырос до 1,95 доллара, в 2025-м – до 2,74 долларов. В 2026 году произошёл резкий скачок объёмов инвестиций, и соотношение инвестиции/прибыль достигло 6,64. 

Именно поэтому сегодня можно всё чаще услышать об «инвестиционном пузыре ИИ», раздувающемся на фоне завышенных ожиданий от коммерческих возможностей данной технологии. И если эти возможности окажутся преувеличенными, а ожидания инвесторов – завышенными, то всё это может обернуться инветиционной катастрофой вроде биржевого кризиса начала нулевых, порождённого знаменитым «пузырём доткомов» - ажиотажным спросом на акции интернет-компаний в конце 90-х годов. 

Тогда разорились множество крупных интернет-магазинов, названия которых сегодня уже никто и не помнит. Однако в США второй половины 90-х названия вроде Webvan (одного из первых сервисов доставки продуктов), eToys или Pets.com были буквально символами коммерческих возможностей интернета.

Затронул кризис и компании в сфере интернет-инфраструктуры: обанкротился ряд крупных провайдеров, включая таких гигантов как WorldCom ,Global Crossing, Excite@Home, NorthPoint Communications и другие. Интересно, что кризис доткомов, как можно видеть, не привёл ни к краху интернет-индустрии как таковой, ни онлайн-торговли в частности. Тем не менее, многие компании, прошедшие становление на заре интернета, пали его жертвой, а на их место после переформатирования рынка пришли новые игроки. Вполне возможно, что сегодняшние ИИ-гиганты не хотят повторения этой истории в новой области – тем более, что перспективы опасаться этого у них есть.

Возможно, в том числе и поэтому в OpenAI приняли решение отложить размещение акций с 2026 на по крайней мере 2027-й год, хотя формально причиной этого Сэм Альтман называет необходимость сначала разработать всё те же «меры безопасности» для ИИ. 

Однако и просто так взять и перестать привлекать инвестиции компании тоже не могут: отказаться от них – значит отказаться и от развития технологии, что подобно смерти на современном высококонурентном рынке.

Поэтому и высказываются предположения, что своими заявлениями, а также требованиями введения «глобальных ограничений» на развитие ИИ, OpenAI и Anthropic пытаются контролировано «сдуть пузырь ИИ», причём так, чтобы при этом не уступить в конкурентной борьбе, в том числе и зарубежным, прежде всего, китайским компаниям.

Кстати, именно конкуренция со стороны Китая в ИИ-сфере заставляет руководство США критически относиться к призывам ИИ-гигантов к сдерживанию развития искусственного интеллекта. «Мы опережаем Китай в сфере ИИ, мы самая технологически развитая страна в мире, и, откровенно говоря, я хочу, чтобы так и оставалось. Кто победит в ИИ, тот победит», - заявил Трамп.

Однако следует понимать, что интересы руководства США и американских компаний несколько не совпадают: для США важно национальное технологическое превосходство, но, как показал тот же кризис доткомов, оно вовсе не является синонимом экономического благополучия для конкретных компаний, в частности, OpenAI и Anthropic, о котором по долгу службы заботятся их топ-менеджеры.
В то же время, прогнозы о том, что бесконтрольное развитие ИИ несет огромную угрозу человечеству, также звучат часто. 

И дело не только и даже не столько в сценариях восстания машин по типу сюжета «Терминатора» или менее драматических, но более реальных сценариев массированных хакерских атак, которые может устроить ИИ, в очередной раз вышедший из-под контроля.

Тревогу вызывает то, как люди могут использовать растущий потенциал ИИ. 

Искусственный интеллект может существенно расширить возможности террористических группировок: к примеру, тот же Anthropic опубликовал информацию о нескольких случаях, когда Claude пытались использовать для поиска путей модификации опасных вирусов.

Например, в одном из случаев некто на протяжении нескольких недель пытался с помощью ИИ разработать способы «улучшения» вируса птичьего гриппа, наделив его способностью передаваться от человека к человеку, в другом некто, действовавший через анонимный аккаунт, интересовался способами улучшения вируса оспы, в третьем некий исследователь применял ИИ при построении базы пептидных токсинов и их компьютерной оптимизации под эффекты, связанные в том числе с параличом.

Но еще большую и совершенно очевидную угрозу для человечества представляет использование ИИ государствами для военных целей.

Вместе с развитием боевых работизированных систем (дронов) искусственный интеллект открывает дорогу к созданию полностью автономных видов вооружений, которые сами определяют цели и принимают решения об их поражении. Такие системы уже применяются в дронах на войне в Украине обеими сторонами для поражения целей в тылу противника. Однако, это лишь начало пути, который может привести к созданию целых армий дронов, управляемых ИИ, которые будут уничтожать все живое на огромных территориях.

А учитывая уже имеющиеся примеры выхода ИИ из под контроля, и на поле боя он также может начать действовать самостоятельно, не слушая команды людей.

По сути, это угроза страшнее ядерного оружия. И потому как минимум в этой сфере человечеству нужно принять решение о введении четкого контроля и запретов.

Такие призывы уже раздаются, однако упираются в то, что сейчас крупнейшие мировые державы, разрабатывающие системы искусственного интеллекта  (США, Китай, Россия), либо находятся непосредственно в состоянии войны, либо к ней усиленно готовятся. И это сильно сдерживает введение любых ограничений на ИИ, так как каждый за счет него надеяться получить для себя решающее преимущество на поле боя.

Ситуация напоминает период создания ядерной бомбы – еще до ее появления ученые предупреждали о катастрофических последствия применения атомного оружия.

Но тогда шла Вторая мировая война и каждая страна боялась, что противник опередит ее в «ядерной гонке». А потому все сомнения и были отброшены.

Но затем, усилиями многих ученых и просто известных людей, которые публично заявляли об угрозе уничтожения человечества в случае ядерной войны, страны, владеющие ядерным оружием, пришли к выводу о необходимости создать механизм контроля за ним и ограничений арсеналов, что и предотвратило ядерные войны.

А само ядерное оружие стало важнейшим сдерживающим фактором для новых войн крупнейших держав друг с другом. И остается таковым, по большому счету, и сейчас – войны России с НАТО или Китая с США до сих пор не произошло, несмотря на многочисленные прогнозы, именно из-за фактора ядерного оружия.

От того, сможет ли человечество таким же образом ограничить военное применение ИИ, предотвратив превращение его в оружие массового уничтожения, во многом и зависит будущее цивилизации. Одно можно сказать точно – скорейшее прекращение войны в Украине и войны в Иране сильно увеличит шансы на то, что государства мира договорятся о жестком регулировании сфер боевого применения ИИ.

Источник: Страна