← Toutes les actualités

16 novembre 2026

IA locale : le rapport détaillé de notre banc d'essai

Ce rapport complète notre actualité « IA locale : nous avons testé 14 modèles sur notre Mac Studio ». Depuis, quatre modèles de plus ont été essayés : 18 en tout. Il détaille la méthode, les résultats modèle par modèle, ce que la répétition des essais a changé, et ce qu'en disent les chiffres publiés par les éditeurs.

Hébergé ou local : ce qui change vraiment

Modèle hébergé (Claude…)Modèle local (notre Mac Studio)
Qualité sur une tâche difficilela meilleure disponiblenettement en dessous
Confidentialitéle texte envoyé part chez le fournisseurrien ne quitte nos machines
Coûtà l'usagematériel déjà payé, électricité
Vitesserapidede quelques mots à plus de cent mots par seconde selon le modèle

L'origine d'un modèle installé chez nous ne change rien à la confidentialité : il n'envoie rien à son éditeur, qu'il soit américain, français ou chinois. Elle compte pour la licence, pas pour la fuite de données. Les très grands modèles chinois récents (Kimi K2, DeepSeek V4, MiniMax complet) ne tiennent pas dans 128 Go de mémoire : seules leurs versions réduites ont pu être essayées.

La méthode

  • Gestion : 10 questions de gestion (chiffre d'affaires d'une année, meilleur mois, meilleurs clients, taux de transformation des devis…) posées à une base de données de test. Le modèle n'a pas accès aux données brutes : il dispose seulement des outils de lecture que nous avons développés pour notre assistant de gestion, et la base fait les calculs. La note mesure donc s'il sait se servir de nos outils, pas sa culture générale. Les bonnes réponses sont calculées à l'avance, sans IA.
  • Écriture de code : 5 fonctions de notre propre code à réécrire d'après leur description, comparées à l'originale sur 12 à 26 cas chacune.
  • Relecture de sécurité : des extraits de notre code pris avant la correction de 22 failles connues, et les mêmes extraits après correction. Signaler une faille déjà corrigée est une fausse alerte certaine.
  • Vitesse et confort : vitesse d'écriture, attente avant la réponse, temps de lecture d'une longue demande. Nous jugeons confortable un modèle qui écrit au moins 20 jetons par seconde (un mot français fait environ 1,5 jeton) et répond en 30 secondes en moyenne.

Mêmes consignes et mêmes outils pour tous, réglages recommandés par chaque éditeur, une requête à la fois. Les questions de gestion et l'écriture de code ont été passées deux fois, les 15 et 16 novembre 2026, pour mesurer la part de hasard.

Les résultats, modèle par modèle

ModèleGestion sur 10 (1er / 2e passage)AttenteCode réussi (1er / 2e)Failles sur 22 / fausses alertesJetons /sEn bref
Qwen3.6 35B-A3B
Alibaba, 38 Go
10 / 1012 s100 % / 85 %13 / 2114le meilleur du banc : juste en gestion, bon en code, rapide
gemma-4-31b
Google, 18 Go
9 / 919 s99 % / 84 %10 / 125le plus juste et le plus prudent ; lent à lire les longs fichiers
gpt-oss-120b
OpenAI, 63 Go
8 / 815 s94 % / 84 %15 / 784rapide, bon partout, le meilleur pour repérer des failles
gemma-4-26b-a4b
Google, 28 Go
9 / 96 s56 % / 66 %11 / 480le plus rapide des justes en gestion ; moyen en code
Qwen3.5 122B-A10B
Alibaba, 70 Go
10 / 918 s70 % / 83 %8 / 071juste et prudent, mais occupe presque toute la mémoire
qwen3-coder-next
Alibaba, 45 Go
7 / 86 s89 % / 66 %12 / 993le plus rapide des bons modèles, pour le code
devstral-small-2
Mistral, 15 Go
8 / 714 s88 % / 96 %8 / 233petit et correct
GLM-4.7-Flash
Z.ai, 32 Go
7 / 818 s38 % / 79 %10 / 062moyen partout ; un tiers des relectures illisibles
ornith 35B-A3B
fusion de Qwen, 30 Go
10 / 1011 s12 % / 53 %7 / 3129excellent en gestion, faible en code ; fusion faite par un particulier
qwen3.8-27b
Alibaba, 16 Go
10 / 1050 s40 % / 53 %9 / 130juste, mais réfléchit longtemps avant de répondre
MiniMax M2.7 élagué
MiniMax, élagué, 78 Go
10 / –19 s70 % / –5 / 248choisit bien ses requêtes, répond en franglais
bonsai-27b
PrismML, 8,5 Go
7 / 989 s83 % / 44 %10 / 447compressé à 2 bits : lent et irrégulier
gpt-oss-safeguard-120b
OpenAI, 62 Go
6 / 629 s98 % / 100 %15 / 797fait pour classer des contenus ; réponses parfois illisibles
gpt-oss-20b
OpenAI, 12 Go
4 / 821 s83 % / 84 %10 / 8124rapide, irrégulier en gestion
gpt-oss-safeguard-20b
OpenAI, 11 Go
3 / 226 s66 % / 81 %9 / 5146réponses souvent vides
qwen3-vl-8b
Alibaba, 6 Go
5 / –3 s53 % / –2 / 393rapide mais trop faible
Kimi-Linear 48B
Moonshot, 52 Go
1 / –6 s53 % / –9 / 396s'arrête sur « Je vais… » sans répondre
MiniMax M2.1 élagué
MiniMax, élagué, 78 Go
2 / –185 s58 % / –8 / 248tourne en rond avec les outils

Attente : temps moyen par question de gestion. Fausses alertes : sur 12 extraits déjà corrigés. « – » : modèle écarté avant le second passage. Taille : place occupée en mémoire dans la version installée (le plus souvent compressée en 4 bits ; en 8 bits pour Qwen3.6, gemma-4-26b et GLM).

02468103 s10 s30 s100 s300 sjustes sur 10limite du confort : 30 sattente moyenne par question (échelle logarithmique)Qwen3.6 35B-A3B : 10 sur 10, 12 s par questionQwen3.6 35B-A3Bgemma-4-31b : 9 sur 10, 19 s par questiongemma-4-31bgpt-oss-120b : 8 sur 10, 15 s par questiongpt-oss-120bgemma-4-26b-a4b : 9 sur 10, 6 s par questiongemma-4-26b-a4bQwen3.5 122B-A10B : 9,5 sur 10, 18 s par questionQwen3.5 122B-A10Bqwen3-coder-next : 7,5 sur 10, 6 s par questionqwen3-coder-nextdevstral-small-2 : 7,5 sur 10, 14 s par questiondevstral-small-2GLM-4.7-Flash : 7,5 sur 10, 18 s par questionGLM-4.7-Flashornith 35B-A3B : 10 sur 10, 11 s par questionornith 35B-A3Bqwen3.8-27b : 10 sur 10, 50 s par questionqwen3.8-27bMiniMax M2.7 élagué : 10 sur 10, 19 s par questionMiniMax M2.7 élaguébonsai-27b : 8 sur 10, 89 s par questionbonsai-27bgpt-oss-safeguard-120b : 6 sur 10, 29 s par questiongpt-oss-safeguard-120bgpt-oss-20b : 6 sur 10, 21 s par questiongpt-oss-20bgpt-oss-safeguard-20b : 2,5 sur 10, 26 s par questiongpt-oss-safeguard-20bqwen3-vl-8b : 5 sur 10, 3 s par questionqwen3-vl-8bKimi-Linear 48B : 1 sur 10, 6 s par questionKimi-Linear 48BMiniMax M2.1 élagué : 2 sur 10, 185 s par questionMiniMax M2.1 élagué

En bleu, les 7 modèles qui font 8 sur 10 ou mieux, en moyenne sur les passages, en 30 secondes ou moins par question.

Ce que nous en retenons

  • Gestion : le bon montage fait l'essentiel. Le modèle ne calcule pas, il choisit la table, les filtres et le regroupement, et la base fait le calcul exact. Cinq modèles ont fait 10 sur 10 au premier passage, et trois l'ont refait au second (Qwen3.6, ornith et qwen3.8). La plupart des erreurs des autres tiennent à trois pièges : compter des documents au lieu de clients distincts, donner un identifiant au lieu d'un nom, mal recopier un grand montant. Chacun se corrige plus sûrement dans l'outil que dans le modèle, et la correction profite à tous les modèles.
  • Écriture de code : Qwen3.6-35B-A3B (100 % puis 85 %), gemma-4-31b, gpt-oss-120b, qwen3-coder-next et devstral réécrivent correctement la plupart des fonctions. Les modèles qui réfléchissent longtemps dépassent souvent la longueur permise avant d'avoir fini.
  • Relecture de sécurité : le meilleur trouve 15 failles sur 22, mais il produit aussi des fausses alertes et des dizaines de constats généraux ou faux. Qwen3.6-35B-A3B offre le meilleur équilibre : 13 failles pour 2 fausses alertes. Un modèle local peut faire un premier tri, jamais un audit seul : chaque constat doit être vérifié.
  • Vitesse : les modèles « MoE », qui n'activent qu'une petite partie d'eux-mêmes à chaque mot (gpt-oss, qwen3-coder-next, Qwen3.6, gemma-4-26b), écrivent 3 à 5 fois plus vite que les modèles « denses » de taille comparable. Les denses sont surtout lents à lire : plus d'une minute pour une longue demande avant le premier mot.
gpt-oss-120bgpt-oss-safeguard-120bQwen3.6 35B-A3Bqwen3-coder-nextgemma-4-26b-a4bGLM-4.7-Flashgemma-4-31bbonsai-27bgpt-oss-20bqwen3.8-27bKimi-Linear 48Bgpt-oss-safeguard-20bQwen3.5 122B-A10Bdevstral-small-2MiniMax M2.1 élaguéornith 35B-A3BMiniMax M2.7 élaguéqwen3-vl-8b05101520036912Failles trouvées, sur 22Fausses alertes, sur 12 extraits sainsplus c'est long, mieux c'estplus c'est court, mieux c'estgpt-oss-120b : 15 failles trouvées sur 2215gpt-oss-120b : 7 fausses alertes sur 127gpt-oss-safeguard-120b : 15 failles trouvées sur 2215gpt-oss-safeguard-120b : 7 fausses alertes sur 127Qwen3.6 35B-A3B : 13 failles trouvées sur 2213Qwen3.6 35B-A3B : 2 fausses alertes sur 122qwen3-coder-next : 12 failles trouvées sur 2212qwen3-coder-next : 9 fausses alertes sur 129gemma-4-26b-a4b : 11 failles trouvées sur 2211gemma-4-26b-a4b : 4 fausses alertes sur 124GLM-4.7-Flash : 10 failles trouvées sur 22100gemma-4-31b : 10 failles trouvées sur 2210gemma-4-31b : 1 fausses alertes sur 121bonsai-27b : 10 failles trouvées sur 2210bonsai-27b : 4 fausses alertes sur 124gpt-oss-20b : 10 failles trouvées sur 2210gpt-oss-20b : 8 fausses alertes sur 128qwen3.8-27b : 9 failles trouvées sur 229qwen3.8-27b : 1 fausses alertes sur 121Kimi-Linear 48B : 9 failles trouvées sur 229Kimi-Linear 48B : 3 fausses alertes sur 123gpt-oss-safeguard-20b : 9 failles trouvées sur 229gpt-oss-safeguard-20b : 5 fausses alertes sur 125Qwen3.5 122B-A10B : 8 failles trouvées sur 2280devstral-small-2 : 8 failles trouvées sur 228devstral-small-2 : 2 fausses alertes sur 122MiniMax M2.1 élagué : 8 failles trouvées sur 228MiniMax M2.1 élagué : 2 fausses alertes sur 122ornith 35B-A3B : 7 failles trouvées sur 227ornith 35B-A3B : 3 fausses alertes sur 123MiniMax M2.7 élagué : 5 failles trouvées sur 225MiniMax M2.7 élagué : 2 fausses alertes sur 122qwen3-vl-8b : 2 failles trouvées sur 222qwen3-vl-8b : 3 fausses alertes sur 123

Relecture de sécurité : les mêmes extraits de code avant et après correction. Les deux meilleurs trouvent 15 failles sur 22, mais signalent aussi 7 failles dans des extraits déjà corrigés.

gpt-oss-safeguard-20bornith 35B-A3Bgpt-oss-20bQwen3.6 35B-A3Bgpt-oss-safeguard-120bKimi-Linear 48Bqwen3-coder-nextqwen3-vl-8bgpt-oss-120bgemma-4-26b-a4bQwen3.5 122B-A10BGLM-4.7-FlashMiniMax M2.7 élaguéMiniMax M2.1 élaguébonsai-27bdevstral-small-2qwen3.8-27bgemma-4-31b04080120160MoE : une petite partie du modèle travaille à chaque motdense : tout le modèle travaille à chaque mot20 jetons/s : seuil de confortjetons par secondegpt-oss-safeguard-20b : 146 jetons par seconde (MoE)146ornith 35B-A3B : 129 jetons par seconde (MoE)129gpt-oss-20b : 124 jetons par seconde (MoE)124Qwen3.6 35B-A3B : 114 jetons par seconde (MoE)114gpt-oss-safeguard-120b : 97 jetons par seconde (MoE)97Kimi-Linear 48B : 96 jetons par seconde (MoE)96qwen3-coder-next : 93 jetons par seconde (MoE)93qwen3-vl-8b : 93 jetons par seconde (dense)93gpt-oss-120b : 84 jetons par seconde (MoE)84gemma-4-26b-a4b : 80 jetons par seconde (MoE)80Qwen3.5 122B-A10B : 71 jetons par seconde (MoE)71GLM-4.7-Flash : 62 jetons par seconde (MoE)62MiniMax M2.7 élagué : 48 jetons par seconde (MoE)48MiniMax M2.1 élagué : 48 jetons par seconde (MoE)48bonsai-27b : 47 jetons par seconde (dense)47devstral-small-2 : 33 jetons par seconde (dense)33qwen3.8-27b : 30 jetons par seconde (dense)30gemma-4-31b : 25 jetons par seconde (dense)25

Vitesse d'écriture mesurée sur une même réponse longue. Tous les modèles passent le seuil de confort ; l'attente vient surtout de la lecture des longues demandes et du temps de réflexion.

Les quatre derniers venus

  • Qwen3.6-35B-A3B (Alibaba, 38 Go) est le meilleur modèle du banc : 10 sur 10 en gestion aux deux passages, en 12 secondes par question, 100 % puis 85 % en écriture de code, 13 failles trouvées pour 2 fausses alertes, et plus de 100 jetons par seconde. C'est aussi le modèle d'origine d'ornith : la fusion a gardé la justesse en gestion, mais elle a cassé l'écriture de code (12 puis 53 %).
  • gemma-4-26B-A4B (Google, 28 Go), la version rapide de gemma : 9 sur 10 aux deux passages en 6 secondes par question, le plus rapide des modèles justes. Il reste moyen en code. Au second passage, faute d'outil pour compter des clients distincts, il l'a dit au lieu d'inventer un chiffre : c'est le bon réflexe.
  • Qwen3.5-122B-A10B (Alibaba, 70 Go) : 10 puis 9 sur 10, aucune fausse alerte, mais 18 secondes par question et presque toute la mémoire de la machine, pour ne pas faire mieux que Qwen3.6.
  • GLM-4.7-Flash (Z.ai, 32 Go) : 7 puis 8 sur 10, malgré l'un des meilleurs chiffres publics avec les outils. En relecture de code, 9 réponses sur 27 sont illisibles après 5 minutes de réflexion.

Trois de ces modèles ont été essayés en 8 bits, moins compressés que la plupart des autres, ce qui peut les avantager un peu.

La part de hasard

Chaque modèle répond avec une part de hasard, voulue par son éditeur. Le second passage l'a mesurée :

  • En gestion, le classement tient : 7 modèles sur 14 refont exactement le même score, et 5 autres ne bougent que d'un point. Deux exceptions : gpt-oss-20b passe de 4 à 8, bonsai-27b de 7 à 9.
  • L'écriture de code bouge beaucoup plus, jusqu'à 41 points : sur 5 fonctions seulement, une fonction qui ne compile pas coûte 15 à 20 points. Un écart de moins de 20 points entre deux modèles ne veut rien dire.
  • Un sans-faute sur 10 questions ne prouve pas l'absence d'erreur. Après 20 réponses justes, le taux d'erreur réel peut encore atteindre environ 15 %. Pour pouvoir affirmer moins de 1 %, il faut environ 300 questions sans une seule faute.
02468100 %25 %50 %75 %100 %ornith 35B-A3BQwen3.6 35B-A3Bqwen3.8-27bQwen3.5 122B-A10Bgemma-4-26b-a4bgemma-4-31bgpt-oss-120bbonsai-27bqwen3-coder-nextdevstral-small-2GLM-4.7-Flashgpt-oss-20bgpt-oss-safeguard-120bgpt-oss-safeguard-20bGestion : justes sur 10Code : fonctions réussies1er passage2e passageornith 35B-A3B : gestion 10 puis 10 sur 10, code 12 % puis 53 %Qwen3.6 35B-A3B : gestion 10 puis 10 sur 10, code 100 % puis 85 %qwen3.8-27b : gestion 10 puis 10 sur 10, code 40 % puis 53 %Qwen3.5 122B-A10B : gestion 10 puis 9 sur 10, code 70 % puis 83 %gemma-4-26b-a4b : gestion 9 puis 9 sur 10, code 56 % puis 66 %gemma-4-31b : gestion 9 puis 9 sur 10, code 99 % puis 84 %gpt-oss-120b : gestion 8 puis 8 sur 10, code 94 % puis 84 %bonsai-27b : gestion 7 puis 9 sur 10, code 83 % puis 44 %qwen3-coder-next : gestion 7 puis 8 sur 10, code 89 % puis 66 %devstral-small-2 : gestion 8 puis 7 sur 10, code 88 % puis 96 %GLM-4.7-Flash : gestion 7 puis 8 sur 10, code 38 % puis 79 %gpt-oss-20b : gestion 4 puis 8 sur 10, code 83 % puis 84 %gpt-oss-safeguard-120b : gestion 6 puis 6 sur 10, code 98 % puis 100 %gpt-oss-safeguard-20b : gestion 3 puis 2 sur 10, code 66 % puis 81 %

Les 14 modèles passés deux fois. Cercle vide : 1er passage ; cercle plein : 2e passage ; un seul cercle plein : même score les deux fois. En gestion les points restent groupés, en code ils s'écartent souvent de 15 à 40 points.

Les modèles réduits : un piège connu

Pour faire entrer un grand modèle dans la machine, on peut le compresser (moins de bits par paramètre) ou l'élaguer (retirer une partie de ses « experts »). Les deux MiniMax essayés ont été élagués de 40 % par la méthode REAP. Le premier tourne en rond avec les outils ; le second choisit très bien ses requêtes mais répond en franglais, avec des caractères parasites, même quand on lui demande d'écrire uniquement en français. C'est un défaut documenté de la méthode : l'élagage garde les experts utiles sur des textes surtout anglais, et les autres langues en souffrent bien plus que les mesures en anglais ne le laissent voir. Ces scores ne disent rien des modèles complets, trop grands pour la machine.

Ce que disent les chiffres publics

Relevé du 16 novembre 2026. SWE-bench Verified : corriger de vrais tickets de projets libres. τ²-bench : un dialogue de plusieurs tours avec des outils, le banc public le plus proche de nos questions de gestion. « éditeur » : chiffre publié par l'éditeur du modèle ; « tiers » : mesuré par un autre.

ModèleÉditeur, sortie, licenceCode : SWE-bench VerifiedOutils : τ²-benchCe que ça éclaire
gpt-oss-120bOpenAI, août 2025, Apache 2.062 (éditeur), 42 (NVIDIA)61 (NVIDIA)20 points d'écart selon qui mesure
gpt-oss-20bOpenAI, août 2025, Apache 2.034 à 61 selon la source48 (tiers)faible avec les outils, comme chez nous
gpt-oss-safeguardOpenAI, oct. 2025, Apache 2.0––fait pour classer des contenus, pas pour coder ni répondre
qwen3-coder-nextAlibaba, févr. 2026, Apache 2.071 (éditeur)–spécialiste du code, rapide
devstral-small-2Mistral, déc. 2025, Apache 2.068 (éditeur)––
gemma-4-31bGoogle, avril 2026, Apache 2.0–77 (éditeur)le meilleur τ² des modèles testés, cohérent avec notre banc
qwen3.8-27bAlibaba, août 2026, Apache 2.0non publiénon publiéle plus récent ; chez nous juste mais lent
bonsai-27bPrismML, été 2026, Apache 2.0–outils −17,5 % en 1 bit (tiers)la compression extrême coûte d'abord sur les outils
ornith 35B-A3Bfusion faite par un particulier, juillet 2026aucun chiffre–à comparer à son modèle d'origine, Qwen3.6-35B-A3B
Qwen3.6-35B-A3BAlibaba, 202673 (éditeur), 70 (NVIDIA)–le meilleur de notre banc aussi
Qwen3.5-122B-A10BAlibaba, 202672 (éditeur)79,5 (éditeur), 74,5 (NVIDIA)juste chez nous, mais pas meilleur que Qwen3.6
gemma-4-26B-A4BGoogle, avril 2026, Apache 2.0–68 (éditeur)moins bien noté que le 31B, presque aussi juste chez nous
GLM-4.7-FlashZ.ai, 2026–79,5 (éditeur)le plus grand écart entre le papier et notre banc
Kimi-Linear 48BMoonshot, oct. 2025, MIT––démonstrateur d'architecture, faible en code
MiniMax M2.1 / M2.7 completsMiniMax, déc. 2025 / mars 202674 (éditeur) / 75 (tiers)87 en télécoms (éditeur, M2.1)les versions élaguées n'ont aucun chiffre comparable
  • Les chiffres d'éditeur dépassent souvent ceux des tiers de 5 à 20 points, selon le montage d'essai.
  • Ils sont mesurés sur le modèle complet, en pleine précision : jamais sur une version compressée ou élaguée comme celles qui tournent sur un Mac.
  • Aucun ne teste le français ni les questions de gestion. τ²-bench, le plus proche, donne souvent le même ordre que notre banc (gemma devant gpt-oss-120b, gpt-oss-20b loin derrière), mais pas toujours : GLM-4.7-Flash, en tête avec 79,5, ne fait que 7 et 8 sur 10 chez nous. Un bon chiffre public ne dispense pas de mesurer.

La suite

  • Qwen3.6-35B-A3B devient notre candidat pour un assistant de gestion installé chez nous. Il reste à le confirmer sur un banc bien plus large.
  • Un banc de gestion bien plus large : des centaines de questions tirées de modèles, dont la réponse est calculée par la base, sans IA ; trois résultats distincts (juste, faux, « je ne sais pas ») ; le même modèle essayé avec des outils plus ou moins précis, et avec une vérification par un second calcul ; plusieurs passages, pour donner une fourchette plutôt qu'une note.

Sources

Un projet de site, d'application ou de migration ? Parlons-en.

Lire l'actualité Contacter l'agence