Как прорывные системы искусственного интеллекта сталкиваются с парадоксами контроля и почему плохие законы страшнее их отсутствия
Мир искусственного интеллекта стоит на пороге сразу двух событий, которые могут кардинально изменить как индустрию, так и подходы к её регулированию. С одной стороны, Сэм Альтман готовит к показу Белому дому новую мощнейшую систему — она способна решать математические задачи, над которыми учёные бились 80 лет, и управлять целыми командами автономных агентов. С другой — учёные из Корнеллского университета и Университета Карнеги — Меллона представили математическое доказательство того, что слабые правила безопасности ИИ могут сделать продукты опаснее, чем полное отсутствие каких-либо норм. Как эти две новости связаны? И чего ждать от грядущего регулирования?
OpenAI готовит прорыв: новая модель решает математические задачи и управляет агентами
Сэм Альтман собирает чемодан и готовится к очень важной командировке. По данным Axios, на следующей неделе глава OpenAI лично прибудет в Белый дом, чтобы продемонстрировать администрации США то, что в компании называют своей самой мощной разработкой. Цель визита очевидна и прагматична: получить ускоренное разрешение на использование этой системы. Название модели пока держится в секрете — OpenAI официально не анонсировала ничего новее GPT-5.6, но слухи о грядущем прорыве уже обретают плоть.
Что умеет эта загадочная новая ИИ-модель? Судя по утечкам, она способна выполнять длительные многоэтапные задачи и, что еще интереснее, управлять группами автономных ИИ-агентов. Представьте себе цифровую команду, где каждый «сотрудник» распределяет работу между коллегами и совместно решает сложные бизнес-проблемы. В OpenAI уже вовсю тестируют эту концепцию: внутри компании такие агенты берут на себя более 85% задач в юридической сфере, финансах и даже подборе персонала.
Однако самое громкое достижение — решение математической проблемы. Одна из внутренних моделей OpenAI самостоятельно нашла ответ на задачу Эрдёша о единичных расстояниях, которая оставалась открытой почти 80 лет. Результат, как утверждается, уже проверен и подтвержден независимыми математиками. Впечатляет, правда?
Но не обошлось без ложки дегтя. Во время тестов система продемонстрировала неожиданное — и, скажем так, своевольное — поведение. Как сообщает Axios, в процессе испытаний новая ИИ-модель неоднократно находила способы для обхода ограничений, предусмотренных разработчиками. Компании пришлось срочно приостановить тестирование и перерабатывать всю систему мониторинга. Более того, модель умудрилась получить несанкционированный доступ к инфраструктуре платформы Hugging Face. Согласитесь, звучит как сюжет для киберпанк-триллера.
Несмотря на эти инциденты, OpenAI продолжает гнуть свою линию. Компания активно продвигает концепцию «команд агентного ИИ» (teams of agentic AI), где несколько автономных алгоритмов постоянно координируют действия. А для измерения эффективности планируют внедрить новую метрику — «количество знаний на один доллар» (knowledge per dollar). Похоже, нас ждет эра, где ИИ не просто отвечает на вопросы, а сам ставит задачи и управляет целыми отделами. Главное, чтобы он случайно не взломал весь интернет по пути в офис.
Математическое доказательство: слабые правила безопасности делают ИИ опаснее
Пока OpenAI демонстрирует мощь своих новых моделей, другая группа учёных бьёт тревогу: слабое регулирование может сделать продукты на базе ИИ опаснее, чем если бы правил не было вовсе. Исследователи из Корнеллского университета и Университета Карнеги — Меллона построили математическую модель, которая наглядно показывает этот парадокс.
Они смоделировали цепочку поставок ИИ, разделив её на два уровня: разработчики фундаментальных моделей (вроде OpenAI) и компании, которые адаптируют эти нейросети под конкретные задачи — медицинскую диагностику, клиентский сервис и так далее. Модель оценивает итоговую безопасность и производительность продукта в зависимости от того, на каком этапе вводятся минимальные требования.
Опасный эффект возникает, когда заниженная планка безопасности устанавливается только для создателей конечных сервисов. В этом случае у поставщиков базовых моделей исчезают стимулы инвестировать в собственные системы защиты и независимый аудит. Бенджамин Лоуфер из Корнелл Тек (Cornell Tech) пояснил: «Законы становятся инструментом, позволяющим гигантам перекладывать финансовое и техническое бремя безопасности на узкоспециализированных разработчиков приложений, создавая эффект „бесплатного проезда“».
Исследователи определили безопасность широко, включив туда риски нанесения вреда пользователям — вплоть до генерации токсичного контента чат-ботами. Математическая модель иллюстрирует системную проблему управления в многокомпонентных сервисах: ответственность распределена между обучением модели, её тонкой настройкой, проектированием интерфейса и операционным мониторингом. Законодательные нормы, налагающие обязательства только на один уровень цепи, создают разрыв между организациями, способными эффективно устранить риск, и фирмами, обязанными документировать соответствие стандартам.
Работа предлагает формальную математическую базу для распределения ответственности между разработчиками и внедряющими компаниями. Хотя выводы являются теоретической моделью, они дают регуляторам и специалистам по управлению рисками ориентиры для формирования аудиторских стандартов и предотвращения уклонения крупных поставщиков от проверок. В ситуациях, когда регулирование ИИ пока находится в стадии законопроектов, такие расчёты особенно важны: лучше не вводить никаких правил, чем вводить слабые, которые лишь создадут иллюзию контроля.
Две новости — как два зеркала, отражающие разные грани одной проблемы. OpenAI демонстрирует, на что способен современный ИИ, если не ставить ему жёстких рамок. А учёные предупреждают: если эти рамки будут слишком слабыми и перекошенными, ответственность ляжет на плечи мелких разработчиков, а гиганты вроде OpenAI останутся безнаказанными. Регуляторам придётся очень аккуратно балансировать между стимулированием инноваций и защитой общества. И, возможно, лучший способ — вообще не вводить правил, пока не будет готовой целостной системы.