L'extraction de données structurées et la classification catégorielle par grands modèles de langage (LLM) souffrent traditionnellement d'une inefficacité inhérente : le décodage autorégressif token par token. Pour chaque champ d'un schéma JSON, le modèle réalise des dizaines, voire des centaines de passes avant de finaliser la sortie.
Sur l'architecture unifiée d'Apple Silicon, le projet Parallel Constrained Decoding implémenté via le framework MLX révolutionne cette approche. En évaluant simultanément des schémas JSON multi-champs par diffusion de cache KV (KV-Cache Broadcasting) et découpage de logits (Logit Slicing), il réduit la latence de 5,6x à 7,0x tout en garantissant une validité syntaxique absolue.
Le goulet d'étranglement du décodage autorégressif classique
Les méthodes standard de génération structurée — telles que le mode JSON natif des API ou le décodage guidé par grammaire (GBNF) — reposent sur une génération séquentielle.
Chaque jeton (token) nécessite un passage distinct dans les couches du réseau de neurones, consommant de la bande passante mémoire à chaque étape. La latence augmente ainsi de manière linéaire par rapport à la longueur de la réponse.
Outre la latence, cette approche expose les applications à des risques de dégradation syntaxique, d'oubli de champs obligatoires ou d'hallucinations sur les clés JSON.
L'architecture du décodage contraint en parallèle
Dans les scénarios d'extraction et de classification, les valeurs possibles appartiennent généralement à des ensembles bornés (booléens, énumérations, listes de choix). Le décodage contraint en parallèle exploite cette caractéristique fondamentale pour restructurer le calcul des probabilités.
Le pipeline d'exécution en 6 étapes
- Pré-remplissage unique (Single Broadcast Prefill) : Le contexte textuel et les descriptions sémantiques du schéma sont passés une seule fois dans le cache de clés-valeurs (KV Cache) du modèle via MLX.
- Diffusion du cache KV : Le cache KV est dupliqué et diffusé simultanément sur l'ensemble des M champs du schéma cible.
- Découpage des logits par sous-vocabulaire (Sub-Vocabulary Logit Slicing) : Pour chaque champ, le moteur masque l'intégralité du vocabulaire du modèle à l'exception des identifiants de tokens correspondant aux choix valides autorisés par le schéma.
- Calcul des probabilités softmax calibrées : Des probabilités normalisées exactes sont calculées sur la tranche de candidats restreinte.
- Désambiguïsation par arbre de tokens : Si des choix candidats partagent des préfixes multi-tokens, le moteur évalue les branches de continuation à l'aide des états de cache découpés, sans réallocation mémoire superflue.
- Assemblage programmatique : Le document JSON final est assemblé directement à partir des valeurs validées, garantissant une conformité syntaxique parfaite à 100 %.
Benchmarks de performance sur Apple Silicon M4 Max
Les tests d'évaluation menés avec le modèle mlx-community/Qwen2.5-1.5B-Instruct-4bit sous macOS Sequoia démontrent des gains de performance spectaculaires :
- Routage anti-fraude Fintech (4 champs) : 75 ms (Accélération 5,6x - 100% validité)
- Audit de sécurité du code (4 champs) : 68 ms (Accélération 5,6x - 100% validité)
- Classification tarifaire (1 champ, 255 choix) : 89 ms (Accélération 5,6x - 100% validité)
- Triage support d'entreprise (28 champs) : 270 ms (Accélération 7,0x - 100% validité)
Mise en œuvre avec le SDK Python
Le moteur s'intègre facilement dans des pipelines de traitement en Python grâce à une API intuitive basée sur le SDK MLX.
1. Définition des schémas de données
Les schémas se définissent à l'aide de structures typées (StructuredSchema), en précisant pour chaque champ son type (enum ou boolean), une description textuelle guidant le raisonnement du modèle et les choix autorisés.
2. Exécution de l'inférence parallèle
Le lancement de l'extraction s'effectue en transmettant le contexte textuel et le schéma compilé à la fonction d'exécution pour obtenir les résultats validés et la télémétrie détaillée par champ.
Conclusion
Le décodage contraint en parallèle sur Apple Silicon démontre qu'il est possible de s'affranchir des limites de latence inhérentes à la génération autorégressive séquentielle des LLM. En combinant l'accélération matérielle unifiée de MLX avec le découpage de logits et la diffusion de cache KV, les architectures de traitement de données structurées atteignent des vitesses d'exécution compatibles avec les exigences des environnements de production critiques.