CEO da Anthropic defende desacelerar a corrida por IA de fronteira e propõe plano de segurança

A Anthropic voltou ao centro do debate sobre segurança em IA. Em um novo post no blog, o CEO Dario Amodei argumenta que o avanço das capacidades dos modelos de IA de fronteira deveria ocorrer em ritmo mais lento e apresenta três frentes para orientar o progresso, em meio ao aumento das discussões no setor sobre mitigação de riscos conforme os modelos evoluem mais rapidamente. A primeira medida sugerida é ampliar auditorias práticas dentro das empresas. Amodei propõe que organizações terceiras instalem "avaliadores presenciais" em companhias de IA para verificar o cumprimento de compromissos de segurança já assumidos e acompanhar se eventuais incidentes são reportados com rapidez. Ele cita que o arranjo poderia ser conduzido por entidades externas nos moldes da METR. Esses profissionais teriam crachá, mesa e computador, com níveis de acesso em grande parte comparáveis aos de equipes internas de avaliação de risco, ainda que possam existir exceções por restrições legais ou contratuais. Segundo Amodei, a Anthropic pretende adotar o modelo por iniciativa própria e defende que o governo exija o mesmo de outras líderes do setor. A segunda frente mira uma coordenação entre empresas de países "democráticos" para criar padrões comuns de segurança e conter avanços descontrolados de capacidade. Para Amodei, o governo dos EUA seria o agente mais indicado para facilitar essas conversas, ou ao menos oferecer apoio com isenções limitadas às regras antitruste, reduzindo o receio das empresas de que a comunicação seja interpretada como conduta anticoncorrencial. O executivo reconhece que a competição entre as principais desenvolvedoras de modelos é intensa e as relações estão tensionadas, o que torna arriscado discutir abertamente uma desaceleração sincronizada de P&D. Amodei também aborda a crítica recorrente de que frear a pesquisa permitiria que a China alcançasse o Ocidente. Na avaliação dele, se o governo americano e empresas de tecnologia continuarem restringindo o fluxo de chips de alto desempenho e equipamentos de fabricação de semicondutores para a China, além de coibir práticas como destilação de modelos, os EUA podem ampliar a liderança nos próximos três a cinco anos. Com essa premissa, ele propõe a terceira direção: coordenação limitada em nível global. A ideia é que os EUA e aliados busquem engajamento máximo possível com governos autoritários, incluindo cooperação com a China, sem pretensão de alinhamento amplo. O foco seria obter consenso inicial em poucas aplicações de alto risco, como restringir o uso de IA no desenvolvimento de armas biológicas. O tema ganha força em um momento de preocupações crescentes. Antes do texto, a Anthropic já chamava atenção por críticas públicas de pesquisadores internos sobre riscos de IA. Amodei não comenta diretamente saídas individuais, mas cita dois fatores que o levaram a defender mais cautela: incidentes de segurança relacionados à OpenAI e à Hugging Face, e a aceleração significativa, nos últimos meses, do avanço da capacidade da IA de construir a próxima geração de IA. A proposta também recebe críticas em duas direções. Defensores de um desenvolvimento mais acelerado afirmam que Amodei enfatiza demais riscos catastróficos de longo prazo, alimentando complacência no setor; outros argumentam que o discurso de segurança pode servir como pretexto para líderes do mercado consolidarem poder, enquanto problemas já causados pela IA no mundo real são subestimados. Amodei sustenta que a tecnologia pode melhorar de forma relevante a qualidade de vida, desde que o avanço seja mais cuidadoso e o tempo adicional seja de fato usado para fortalecer a segurança.