Infrastructure et souveraineté · Couche 4
Mixture of experts (mélange d’experts)
Un modèle découpé en blocs, dont seuls quelques-uns travaillent pour chaque mot : il calcule moins, mais doit tout garder en mémoire.
Pour se le représenterImaginez une grande cuisine où, pour chaque assiette, un aiguilleur n’allume que deux feux sur huit : on consomme moins de gaz, mais il faut toujours la place et l’équipement pour les huit.
Une DSI reçoit deux devis pour héberger un modèle en interne. Le premier fournisseur met en avant « seulement 37 milliards de paramètres actifs » et dimensionne le serveur comme pour un modèle de cette taille. L’acheteur demande la taille totale : plusieurs centaines de milliards de paramètres, tous à charger en mémoire. Le devis est refait sur la mémoire totale et sur un test de charge avec le nombre réel d’utilisateurs simultanés.
L’architecture ne change pas vos obligations, mais elle change les questions à poser. Un fournisseur de modèle à usage général documente en principe son architecture et son nombre de paramètres (UE · AI Act, art. 53 et annexe XI) : exigez la taille totale et la taille active, jamais l’une sans l’autre. Un serveur dimensionné sur les seuls paramètres actifs risque la saturation, or la disponibilité du service fait partie de la sécurité (UE · RGPD, art. 32). Comme pour tout modèle, chaque nouvelle version se réévalue avant la mise en service.
« Quelle est la taille totale du modèle, combien de mémoire faut-il pour le charger, et quel débit avez-vous mesuré avec notre nombre d’utilisateurs simultanés ? »
Non. Le routeur apprend seul à répartir les morceaux de mot, et cette répartition ne suit pas des métiers. Dans l’analyse publiée de Mixtral (France · Mistral AI), le choix des experts suit davantage la forme du texte, comme l’indentation du code, que son sujet.
Il calcule moins par mot, ce qui peut réduire le coût de chaque réponse. Mais il occupe autant de mémoire que sa taille totale, et son coût réel dépend du matériel et du nombre d’utilisateurs simultanés : seul un test sur votre charge le dira.
Sa fiche technique donne alors deux nombres : paramètres totaux et paramètres actifs. Un nom comme « 8x7B » en est un indice, mais ne se lit pas comme une multiplication : Mixtral 8x7B compte 46,7 milliards de paramètres, pas 56, car une partie du modèle est commune à tous les experts.
Fiche pédagogique, pas un avis juridique. À jour au 29 octobre 2026.