Anthropic и OpenAI предложили разные способы остановки опасных ИИ-моделей

OpenAI и Anthropic согласны, что для передовых систем искусственного интеллекта нужен более строгий надзор. Однако компании предлагают разные способы остановки моделей, создающих серьёзные риски: Anthropic считает, что суды должны иметь полномочия приостанавливать работу таких систем, а OpenAI предлагает обязать разработчиков поддерживать эффективные механизмы остановки и применять их.

Предложения содержатся в отдельных обращениях к губернатору Калифорнии Гэвину Ньюсому. Они последовали за указом губернатора от 18 сентября, который поручил властям штата рассмотреть дополнительные меры защиты для передовых систем ИИ. Обе компании поддерживают независимую оценку безопасности и расширение отчётности об инцидентах, связанных с ИИ-системами, которые действуют за пределами предоставленных им полномочий.

«Если генеральный прокурор, опираясь на независимую оценку, придёт к выводу, что модели компании, разрабатывающей передовые системы ИИ, в ближайшее время могут привести к катастрофическому ущербу, он должен иметь возможность обратиться в суд за распоряжением приостановить развёртывание модели, её внутреннее использование или дальнейшую разработку», — написала Anthropic в обращении от 15 октября.

В письме от 20 октября OpenAI предложила внести поправки в закон Калифорнии Senate Bill 53 (SB 53).

«Мы поддерживаем поправки к SB 53, которые обяжут разработчиков передовых систем поддерживать эффективные механизмы остановки и применять их при возникновении опасных условий, если никакое менее серьёзное вмешательство не позволит должным образом устранить риск», — говорится в письме OpenAI.

Санчита Вир Гогия, главный аналитик Greyhound Research, считает, что эти подходы отвечают на взаимодополняющие потребности. «Оператор должен незамедлительно пресечь опасную деятельность. Независимая проверка должна учитывать как вмешательство, так и бездействие», — сказал он.

Указ Ньюсома N-9-26 поручает Агентству Калифорнии по государственным операциям совместно с Управлением губернатора по чрезвычайным службам и экспертами представить к 16 ноября рекомендации о возможных поправках к действующим законам о безопасности ИИ. Власти должны рассмотреть независимую проверку внутри лабораторий ИИ, внешнюю проверку оценок безопасности, подтверждённые механизмы остановки и расширенную отчётность о серьёзных инцидентах. Сам указ не вводит предложенные требования.

Независимая проверка

Anthropic предлагает поручить независимым экспертам проверять заявления разработчиков о безопасности и публиковать собственные выводы.

«Мы решительно поддерживаем требование о независимой проверке сведений, которые компании, разрабатывающие передовые системы ИИ, предоставляют о рисках своих моделей и достаточности мер по их снижению», — говорится в обращении компании.

Anthropic предлагает обязать разработчиков публиковать отчёты о рисках не реже одного раза в шесть месяцев. В них должны быть описаны серьёзные риски, связанные с моделями, в том числе с внутренне используемыми моделями, которые существенно опаснее выпущенных систем. Проверяющие должны получать отчёты без изъятий, а также доступ к наиболее мощным моделям разработчиков и соответствующей внутренней информации.

Компания также предложила обязать разработчиков перечислять средства в общий фонд под управлением штата для финансирования проверяющих, а не платить им напрямую. Anthropic сообщила, что команда независимой организации по оценке ИИ METR в рамках пилотного проекта получила доступ, сопоставимый с доступом сотрудников. Компания также готовит дальнейшее сотрудничество с SecureBio и Accenture.

В своём письме OpenAI поддержала независимые технические оценки, но отделила их от аудита соблюдения требований. Технические оценки должны проверять доказательства, на которых основаны заявления разработчиков о безопасности, и эффективность мер защиты. Аудиты соблюдения требований, по словам компании, должны устанавливать, выполняют ли компании собственные опубликованные правила безопасности и юридические обязательства.

OpenAI рекомендовала проводить независимые аудиты соблюдения требований ежегодно, а также организовывать целевые технические оценки серьёзных рисков, возникающих при обучении, оценке и внутреннем развёртывании моделей. Компания также призвала Калифорнию сотрудничать с Национальным институтом стандартов и технологий США при разработке единых стандартов оценки.

По словам Гогии, для эффективного надзора недостаточно одного лишь финансирования. «Надёжная система контроля должна выдерживать неблагоприятные выводы», — сказал он.

Не один выключатель

OpenAI считает, что один универсальный выключатель не решит проблему: ИИ-системы работают и развёртываются по-разному.

«Мы рекомендуем использовать термин “механизмы остановки”: он предполагает разработку нескольких средств контроля и скоординированные действия разных участников, необходимых для остановки работы ИИ, а не один выключатель», — написала компания.

Меры могут включать остановку обучения модели, изоляцию ИИ-агента, отзыв доступа к инструментам или сети либо приостановку сервиса. По мнению OpenAI, ответственность должна распространяться и на поставщиков инфраструктуры для выполнения запросов к моделям, и на организации, которые развёртывают их дальше по цепочке, — в зависимости от того, какие операции они контролируют. Компания также отметила, что разработчики не могут надёжно отключать независимо работающие копии моделей с открытыми весами, запущенные на внешних системах.

Anthropic также выступает за более адресные меры защиты. «Мы считаем, что подходящей метафорой для того, что должны создавать компании, разрабатывающие передовые системы ИИ, будет автомат защиты», — говорится в обращении компании. Она предлагает средства контроля, способные локализовать проблему на уровне агента, клиента, среды развёртывания или модели.

Для компаний договорные обязанности по остановке систем, по словам Гогии, должны соответствовать реальным возможностям контроля каждой стороны. В соглашениях следует указать, кто вправе вмешаться, как стороны будут взаимодействовать при сообщении об инцидентах и кто может разрешить перезапуск.

«За каждой возложенной обязанностью должен стоять реально применимый механизм контроля», — сказал Гогия. Он добавил, что ИТ-директорам следует проверять процедуры восстановления, а не предполагать, что переход на альтернативную модель сам по себе позволит продолжить безопасную работу. Обе компании также призвали расширить отчётность об инцидентах, когда модели обходят меры защиты или совершают несанкционированные действия.