Глава Anthropic предложил замедлить развитие передовых моделей ИИ

CoinDesk сообщает, что генеральный директор Anthropic Дарио Амодеи опубликовал новую запись в блоге с предложением снизить темпы роста возможностей передовых (frontier) моделей ИИ и обозначил три направления, которые, по его мнению, должны стать приоритетами. На фоне ускоряющегося прогресса в моделях вновь обострилась дискуссия об ИИ-безопасности: отрасль все активнее обсуждает меры по снижению рисков. Первый шаг, который предлагает Амодеи, — внедрение внешних "инспекторов на площадке" (onsite evaluators). Речь идет о том, чтобы независимые организации направляли сотрудников в ИИ-компании для проверки соблюдения уже взятых обязательств в области безопасности и контроля того, как оперативно сообщается о инцидентах. По его словам, такую модель могли бы администрировать внешние структуры, сопоставимые с METR. Инспекторам предполагалось выдавать корпоративные бейджи, рабочие места и компьютеры; уровень доступа в целом должен быть близок к доступу внутренних команд по оценке рисков, хотя возможны исключения из-за юридических или контрактных ограничений. Амодеи заявил, что Anthropic готова внедрять этот подход в одностороннем порядке и одновременно призывает власти обязать других ведущих разработчиков действовать аналогично. Второе направление — координация стандартов безопасности между ведущими ИИ-компаниями из "демократических стран". Цель — согласовать общие требования и ограничить темпы неконтролируемого наращивания возможностей. Амодеи считает, что такие обсуждения лучше всего проводить при содействии правительства США либо при поддержке через ограниченные исключения из антимонопольных правил, чтобы снизить опасения компаний из-за возможных претензий регуляторов. Он также описывает реальную картину рынка: конкуренция между лидерами острая, отношения напряжены, а прямые разговоры о синхронном замедлении НИОКР могут привлечь внимание надзорных органов. Его позиция сводится к тому, что государству не обязательно участвовать напрямую, но оно должно создать условия для диалога по конкретным вопросам безопасности. Третьим блоком Амодеи отвечает на типичное возражение: замедление исследований якобы позволит Китаю догнать лидеров. Он утверждает, что при сохранении ограничений на поставки в Китай высокопроизводительных чипов и оборудования для производства полупроводников, а также при противодействии практикам вроде дистилляции моделей США смогут увеличить отрыв в ближайшие три-пять лет. На этой основе он предлагает ограниченную координацию и на глобальном уровне. По его словам, США и союзникам следует по возможности взаимодействовать и с авторитарными правительствами, включая сотрудничество с Китаем, не стремясь к всеобъемлющему согласованию, а фокусируясь на консенсусе по нескольким наиболее рискованным применениям — например, на ограничении использования ИИ при разработке биологического оружия. Тема безопасности вокруг Anthropic остается в центре внимания. До публикации поста компания уже привлекала интерес из-за публичной критики со стороны некоторых внутренних исследователей, предупреждавших о рисках ИИ. Амодеи не комментировал отдельные увольнения, но указал на два фактора, которые усилили его склонность к более осторожному курсу: инциденты, связанные с OpenAI и Hugging Face, а также заметно ускорившийся за последние месяцы прогресс в способности ИИ создавать следующее поколение ИИ. Подход Амодеи встречает две основные линии критики. Сторонники ускоренного развития считают, что он чрезмерно акцентирует внимание на долгосрочных катастрофических рисках, что может подпитывать самоуспокоенность индустрии. Оппоненты с другой стороны полагают, что подобные тезисы позволяют лидерам рынка прикрываться безопасностью для укрепления доминирования, игнорируя реальные проблемы, которые ИИ уже создал. Амодеи при этом подчеркивает: он по-прежнему верит, что ИИ способен существенно повысить качество жизни людей, если двигаться аккуратнее и использовать выигранное время на реальное усиление мер безопасности.