Muse Ember de Meta égale Claude Haiku 5.5 sur un indice d’IA, pour un coût trois fois inférieur

Meta a lancé Muse Ember, un modèle propriétaire compact conçu pour les tâches répétitives au cœur des agents d’IA, tandis qu’un organisme indépendant de mesure des performances lui attribue un score d’intelligence composite comparable à celui de Claude Haiku 5.5 d’Anthropic, pour un coût par tâche évaluée trois fois inférieur.

La comparaison ne permet toutefois pas d’affirmer que les deux modèles sont généralement équivalents. Artificial Analysis a attribué aux versions dotées du niveau de raisonnement maximal un score arrondi de 36 sur son Intelligence Index. Le coût mesuré atteint 0,14 dollar par tâche pour Muse Ember, contre 0,41 dollar pour Claude Haiku 5.5. L’indice agrège neuf évaluations, portant notamment sur l’automatisation des activités, le travail dans un terminal, le codage sur des dépôts réels et les connaissances factuelles.

Ce coût correspond à une moyenne pondérée des tâches évaluées par le fournisseur, et non au prix d’une requête client type. La facture réelle dépend de la longueur du prompt, des entrées mises en cache, du volume de sortie et de l’intensité du raisonnement. Les développeurs et entreprises français qui envisagent ce modèle devront donc tester leurs propres usages, plutôt que de multiplier le coût par tâche du benchmark par un nombre prévisionnel d’appels d’agent.

Ce que propose Meta

Meta a présenté Muse Ember le 9 novembre comme son modèle de raisonnement le plus compact et le plus efficace. Disponible sous le nom muse-ember-1.0 via la Meta Model API et Muse Code, il accepte des entrées textuelles, des images, des vidéos, des contenus audio et des PDF. La documentation de Meta indique une fenêtre de contexte de 1 048 576 tokens, une sortie maximale de 524 288 tokens et plusieurs niveaux de raisonnement, de minimal à maximal.

Meta présente Ember comme une couche d’exécution pour des tâches circonscrites : appels d’outils, routage, extraction, traitement documentaire et sous-tâches de programmation. Ses modèles plus imposants, Muse Wonder ou Muse Spark, peuvent planifier un processus, tandis que plusieurs appels à Ember prennent en charge les étapes plus ciblées. Cette répartition est importante, car un système agentique peut effectuer de nombreux appels à un modèle avant d’achever une tâche visible pour l’utilisateur.

Pour les requêtes contenant au maximum 200 000 tokens en entrée, les tarifs API publiés par Meta s’élèvent à 0,10 dollar par million de tokens en entrée, 0,004 dollar par million de tokens d’entrée mis en cache et 0,50 dollar par million de tokens en sortie. Au-delà de 200 000 tokens en entrée, l’ensemble de la requête bascule dans la catégorie du contexte long : 0,30 dollar pour l’entrée, 0,012 dollar pour l’entrée mise en cache et 1,50 dollar pour la sortie, par million de tokens. Ce seuil signifie que la fenêtre d’un million de tokens d’Ember ne bénéficie pas du tarif le plus bas sur toute sa longueur.

Artificial Analysis indique qu’Ember et Haiku 5.5 affichent les mêmes tarifs unitaires de référence pour les tokens d’entrée et de sortie dans les configurations comparées. La facture inférieure d’Ember lors du benchmark s’explique par un coût moindre pour les entrées mises en cache et par un volume de sortie environ trois fois plus faible, plutôt que par un écart de trois à un sur les tarifs standards d’entrée et de sortie.

De solides résultats en automatisation, mais des performances de codage contrastées

Cette égalité au classement général masque des écarts importants selon les tests. Dans la comparaison actuelle d’Artificial Analysis, Ember avec le niveau de raisonnement maximal obtient 68,1 % sur AutomationBench-AA, contre 35,4 % pour Haiku 5.5. Il devance également ce dernier sur Terminal-Bench 4.0, avec 40,9 % contre 32,8 %.

Haiku prend l’avantage sur FrontierCode 2.0, qui utilise des tâches d’ingénierie issues de dépôts réels et évalue si une modification proposée serait acceptée : 34,9 %, contre 27,2 % pour Ember. Le rapport d’évaluation de Meta précise qu’Artificial Analysis a utilisé le jeu privé de 132 tâches. Cet écart doit alerter les équipes dont les agents doivent parcourir des bases de code de production inconnues, reproduire des anomalies et fournir des correctifs prêts à être intégrés.

Les deux modèles ont également été testés dans des produits de programmation différents. Ember, intégré à Muse Code, obtient 46 sur l’Artificial Analysis Coding Agent Index, tandis que Haiku, utilisé dans Claude Code, atteint 37. Les interfaces d’exécution, les outils et la conception de l’agent peuvent influer sur ces résultats : les scores comparent donc des ensembles complets modèle-agent autant que les modèles eux-mêmes.

La restitution de connaissances factuelles constitue la principale faiblesse d’Ember dans les résultats indépendants publiés. Il obtient 21,1 % sur AA-Omniscience et refuse de répondre à 64 % des questions. Artificial Analysis relève un taux d’hallucination de 17,4 % parmi les réponses concernées, inférieur à celui de Haiku. Mais ce taux élevé de refus peut rendre Ember peu adapté aux agents censés s’appuyer sur leurs connaissances internes sans recourir à un système de récupération d’informations.

Ce que cela implique pour les équipes françaises

Le lancement concerne directement la France, car la documentation d’Ember prévoit un accès destiné aux entreprises du monde entier au-delà du seul service pour développeurs de Meta. S3NS, l’entreprise française de cloud contrôlée par Thales et développée avec la technologie de Google Cloud, répertorie Muse Ember 1.0 en préversion sur un point d’accès mondial dans la documentation de sa plateforme Gemini Enterprise Agent Platform. La page mentionne une utilisation à la demande et une utilisation fondée sur un quota fixe, tout en précisant que le modèle n’est pas encore disponible de manière générale et que l’assistance peut être limitée.

La politique d’utilisation géographique de Meta ne cite pas la France parmi les territoires soumis à des restrictions, tout en précisant que la disponibilité du service est contrôlée techniquement et peut évoluer. Cela ne garantit pas que tous les comptes français, toutes les modalités de facturation ou toutes les régions de déploiement puissent utiliser le modèle. Les organisations qui traitent des données personnelles ou confidentielles doivent également examiner les conditions contractuelles, la localisation des données et les obligations de conformité, sans considérer la disponibilité du modèle comme une validation en matière de confidentialité.

Pour une start-up française qui traite des documents, classe des demandes d’assistance ou distribue de nombreuses tâches ciblées entre des sous-agents, l’efficacité mesurée d’Ember pourrait réduire les coûts d’inférence. Une équipe de développement qui effectue des modifications complexes dans des dépôts matures pourra accorder davantage de poids à l’avantage de Haiku sur FrontierCode. Les processus fortement dépendants des connaissances nécessiteront quant à eux de la récupération d’informations, des sources vérifiables et une gestion des refus.

Muse Ember modifie donc l’arbitrage entre prix et performances sans le trancher. La comparaison utile n’oppose pas « Ember à Haiku » dans l’abstrait, mais porte sur le coût et le taux d’échec de chaque modèle au sein de la boucle agentique exacte qu’une équipe prévoit d’exploiter.