Il y a 1 h
Le patron d'Anthropic plaide pour un ralentissement des IA de pointe et avance un plan en trois volets
Selon CoinDesk, Dario Amodei, directeur général d'Anthropic, a publié un billet de blog appelant à freiner le rythme de progression des modèles d'IA dits "frontière", tout en proposant trois axes d'action. Le débat sur la sûreté de l'IA s'est de nouveau intensifié à mesure que les capacités des modèles s'améliorent rapidement, ravivant les discussions sur la réduction des risques.
Première mesure: déployer des "évaluateurs sur site" indépendants. Amodei propose que des organisations tierces envoient des équipes au sein des entreprises d'IA afin de vérifier le respect des engagements de sécurité déjà annoncés et de surveiller que les incidents soient signalés sans délai. Il évoque des structures comparables à METR pour opérer ces dispositifs. Les évaluateurs disposeraient de badges, de bureaux et d'ordinateurs, avec des niveaux d'accès proches de ceux des équipes internes d'évaluation des risques, sous réserve d'exceptions liées à des contraintes juridiques ou contractuelles. Anthropic entend avancer unilatéralement sur ce point et appelle l'État à imposer une approche similaire aux autres acteurs majeurs.
Deuxième axe: coordonner des standards de sécurité entre entreprises de "pays démocratiques". Amodei souhaite que les leaders du secteur s'accordent sur des normes communes et qu'ils limitent les trajectoires d'amélioration des capacités lorsqu'elles deviennent difficiles à contrôler. Il estime que ce type de concertation serait plus facilement organisé par le gouvernement américain, ou au minimum facilité via des exemptions antitrust limitées, afin de réduire la crainte des entreprises d'être accusées d'entente. Le constat vise aussi les réalités du marché: la concurrence entre développeurs de modèles est très vive, les relations sont tendues, et discuter d'un ralentissement synchronisé de la R&D pourrait attirer l'attention des régulateurs. Pour Amodei, l'État n'a pas besoin d'être partie prenante à chaque échange, mais doit créer un cadre permettant de dialoguer sur des sujets précis de sécurité.
Troisième volet: intégrer le facteur chinois et viser une coordination internationale ciblée. Répondant à l'objection selon laquelle un ralentissement offrirait à la Chine l'occasion de rattraper son retard, Amodei juge qu'en maintenant les restrictions sur les puces très performantes et les équipements de fabrication de semi-conducteurs, et en s'attaquant à des pratiques comme la distillation de modèles, les États-Unis pourraient au contraire accroître leur avance au cours des trois à cinq prochaines années. Sur cette base, il plaide pour une coordination mondiale limitée: Washington et ses alliés devraient dialoguer autant que possible avec des gouvernements autoritaires, y compris via une coopération avec la Chine, non pour une convergence totale, mais pour d'abord obtenir un accord sur quelques usages à très haut risque, comme l'interdiction de recourir à l'IA pour développer des armes biologiques.
Les inquiétudes sur la sécurité demeurent fortes. Avant la publication de ce texte, Anthropic avait déjà été sous les projecteurs après des critiques publiques de chercheurs internes au sujet des risques liés à l'IA. Amodei ne commente pas directement les départs individuels, mais cite deux évolutions qui l'incitent à prôner davantage de prudence: des incidents de sécurité liés à OpenAI et à Hugging Face, et l'accélération marquée, ces derniers mois, des capacités de l'IA à contribuer à la conception d'IA de nouvelle génération.
Cette ligne suscite deux types de critiques. Les partisans d'une accélération estiment qu'Amodei met excessivement l'accent sur des risques catastrophiques de long terme, alimentant une forme de complaisance dans l'industrie. D'autres considèrent qu'un tel discours pourrait servir de prétexte aux leaders du marché pour consolider leur domination au nom de la sécurité, tout en écartant les problèmes d'ores et déjà posés par l'IA. Amodei affirme pour sa part rester convaincu que l'IA peut améliorer significativement la qualité de vie, à condition d'avancer plus prudemment et d'utiliser le temps gagné pour renforcer réellement la sécurité.