Claude 3 Opus est le dernier modèle de langage d’Anthropic, sorti en mars 2024. Ce modèle représente une avancée significative dans le domaine de la traduction automatique. Cela est particulièrement le cas pour les langues à faibles ressources. En effet, des chercheurs du Williams College (Massachusetts) ont montré que Claude 3 surpasse les modèles de référence comme Google Translate et NLLB-54B de Meta AI sur un grand nombre de paires de langues. Ces résultats sont également obtenus avec les langues disposant de peu de données d’entraînement.
Claude 3 : Des performances impressionnantes en traduction
Pour évaluer les capacités de traduction de Claude 3 de manière rigoureuse, des benchmarks indépendants ont été créés en évitant le biais de contamination des données présent dans les benchmarks existants comme FLORES-200. Les résultats sont sans appel :
- Claude 3 surpasse les modèles de référence comme NLLB-54B et Google Translate sur 25% des paires de langues testées, de l’anglais vers une autre langue.
- Ses performances restent élevées que ce soit pour des langues à hautes ou faibles ressources, démontrant une efficacité remarquable. Claude 3 semble être le premier grand modèle de langage à avoir une “efficacité de ressource” comparable à NLLB-54B.
- Il est particulièrement performant pour la traduction vers l’anglais. Dans cet exercice, il surpasse NLLB-54B sur 55,6% des paires de langues dans cette direction. En revanche, il ne surpasse NLLB-54B que sur 33,3% des paires dans la direction inverse (de l’anglais vers une autre langue).
Vers des modèles de traduction plus compacts et efficaces
Les performances de Claude 3 sont impressionnantes. Cependant, son coût et son temps d’inférence limitent son applicabilité à grande échelle pour la traduction. Des techniques de distillation de connaissances permettent de compresser ses capacités dans des modèles de traduction neuronaux plus compacts.
En générant des données synthétiques avec Claude 3, les chercheurs ont pu faire progresser l’état de l’art en traduction Yoruba-Anglais, égalant ou dépassant des modèles de référence comme NLLB-54B et Google Translate. Cette approche ouvre la voie à l’amélioration de nombreuses autres paires de langues à faibles ressources.
Conclusion
Claude 3 d’Anthropic marque une étape importante vers des modèles de langage toujours plus performants pour la traduction automatique, y compris pour les langues à faibles ressources qui étaient jusqu’ici à la traîne.
Combiné à des techniques de compression comme la distillation, il ouvre la voie à des modèles plus compacts et efficaces. Ainsi, il permet de démocratiser l’accès à une traduction de qualité pour un nombre croissant de langues.
Les travaux futurs exploreront sans doute l’application de ces approches à davantage de paires de langues. Claude 3 pourra également être utilisé pour générer des données d’entraînement synthétiques massives. La course à la performance pour la traduction automatique multilingue n’est pas près de s’arrêter !
Source : Williams College
