Introduction et contexte de l'alignement de valeurs
L'écosystème des grands modèles de langage (LLM) open source offre aux chercheurs et aux laboratoires la possibilité unique de modifier l'intelligence artificielle pour l'adapter à des préférences variées. Les valeurs intégrées par défaut lors de l'entraînement initial ne doivent pas nécessairement constituer l'unique choix disponible pour les utilisateurs finaux. C'est dans cette optique que Nous Research a entrepris le post-entraînement du modèle Qwen3.8-27B, développé à l'origine par Alibaba, afin de réorienter ses biais idéologiques vers des standards occidentaux. Ce nouveau modèle, baptisé Arete-27B, illustre comment le supervised fine-tuning (SFT) ciblé peut remodeler le comportement d'un LLM sans altérer ses performances fondamentales.
Les modèles entraînés en Chine intègrent souvent des réflexes de refus, des contournements ou des cadrages spécifiques sur des sujets politiquement sensibles en lien avec la ligne directrice du Parti communiste chinois (PCC). En observant ces biais sur Qwen3.8-27B, les équipes de recherche ont cherché à mesurer l'impact d'un alignement de valeurs par le biais de données textuelles soigneusement sélectionnées. L'objectif n'était pas de nier les qualités intrinsèques de l'architecture de base, mais de démontrer qu'il est possible de corriger des biais structurels par un entraînement secondaire rigoureux.
La méthodologie du post-entraînement
Le développement d'Arete-27B repose exclusivement sur du fine-tuning supervisé (SFT). Aucune méthode d'optimisation par préférence (telle que le DPO ou l'ORPO) ni de renforcement par apprentissage (RLHF) n'a été employée, et aucune modification architecturale n'a été apportée au modèle de base. Les chercheurs ont concentré leurs efforts sur sept catégories de valeurs fondamentales pour structurer leur démarche :
- La liberté d'expression
- L'idéologie d'État
- L'opposition entre l'État et le libre marché
- L'éducation
- La protection des données et la surveillance
- La démocratie
- La politique environnementale
Pour mener à bien cette transformation, l'équipe a dû concevoir un ensemble de données spécifique et s'appuyer sur un modèle enseignant de référence. L'utilisation d'un enseignant open source a permis d'éviter les restrictions d'utilisation associées aux techniques de distillation illicite. Environ 20 000 invites ont été générées à travers les sept catégories, après un processus rigoureux de déduplication et de vérification pour éviter tout chevauchement avec l'ensemble de données d'évaluation.
Configuration technique et paramètres d'entraînement
Le processus d'entraînement d'Arete-27B a nécessité un traitement intensif sur un volume de 52,8 millions de tokens, exploité dans une fenêtre de contexte de 64k, sans technique de sequence packing. Le modèle a été entraîné sur deux époques complètes, totalisant 1 202 étapes, réparties à raison de 601 étapes par époque.
L'optimiseur retenu est AdamW, configuré avec des paramètres précis pour stabiliser la descente de gradient. La fonction d'apprentissage a débuté par un réchauffement linéaire de 1e-6 à 1e-5 au cours des 120 premières étapes, suivi d'une décroissance cosinusoïdale ramenant le taux d'apprentissage à 1e-6 à l'étape finale.
Évaluation rigoureuse : le benchmark propaganda_eval
Pour mesurer l'efficacité de l'alignement, une évaluation spécifique nommée Propaganda_Eval a été mise en place. Elle regroupe 803 invites issues de rapports gouvernementaux, d'articles de presse et d'études de recherche en langue anglaise. Chaque invite est associée à des faits vérifiables et au cadre officiel employé par le PCC sur le sujet traité.
Un LLM tiers, agissant en tant que juge indépendant, a évalué les réponses générées sans connaître l'origine du modèle. Le système de notation sépare la restitution factuelle de l'analyse du cadrage idéologique.
Préservation des capacités générales et agentiques
Une crainte récurrente lors du post-entraînement ciblé d'un LLM est l'apparition d'une régression catastrophique ou d'une perte de compétences sur les tâches générales et techniques. Pour s'assurer qu'Arete-27B conservait ses aptitudes, l'équipe a soumis le modèle à des benchmarks d'évaluation standardisés.
Sur l'évaluation interne Hermes Bench, Arete-27B obtient un score de 65,60 %, soit un résultat quasi identique au modèle Qwen3.8-27B initial qui s'établissait à 65,77 %. L'écart constaté relève de la simple variation statistique. Par ailleurs, sur le benchmark Terminal-Bench-2.1, orienté vers l'utilisation d'agents dans des environnements de type terminal, le modèle modifié passe de 67 % à 70 %.
Implications pour l'écosystème open source
Le projet Arete-27B démontre qu'il est possible d'intervenir chirurgicalement sur le comportement idéologique d'un grand modèle de langage sans réentraîner l'intégralité du système à partir de zéro. Cette approche ouvre la voie à une plus grande personnalisation des LLM au sein de la communauté open source.