16 novembre 2026
IA locale : le rapport détaillé de notre banc d'essai
Ce rapport complète notre actualité « IA locale : nous avons testé 14 modèles sur notre Mac Studio ». Depuis, quatre modèles de plus ont été essayés : 18 en tout. Il détaille la méthode, les résultats modèle par modèle, ce que la répétition des essais a changé, et ce qu'en disent les chiffres publiés par les éditeurs.
Hébergé ou local : ce qui change vraiment
| Modèle hébergé (Claude…) | Modèle local (notre Mac Studio) | |
|---|---|---|
| Qualité sur une tâche difficile | la meilleure disponible | nettement en dessous |
| Confidentialité | le texte envoyé part chez le fournisseur | rien ne quitte nos machines |
| Coût | à l'usage | matériel déjà payé, électricité |
| Vitesse | rapide | de quelques mots à plus de cent mots par seconde selon le modèle |
L'origine d'un modèle installé chez nous ne change rien à la confidentialité : il n'envoie rien à son éditeur, qu'il soit américain, français ou chinois. Elle compte pour la licence, pas pour la fuite de données. Les très grands modèles chinois récents (Kimi K2, DeepSeek V4, MiniMax complet) ne tiennent pas dans 128 Go de mémoire : seules leurs versions réduites ont pu être essayées.
La méthode
- Gestion : 10 questions de gestion (chiffre d'affaires d'une année, meilleur mois, meilleurs clients, taux de transformation des devis…) posées à une base de données de test. Le modèle n'a pas accès aux données brutes : il dispose seulement des outils de lecture que nous avons développés pour notre assistant de gestion, et la base fait les calculs. La note mesure donc s'il sait se servir de nos outils, pas sa culture générale. Les bonnes réponses sont calculées à l'avance, sans IA.
- Écriture de code : 5 fonctions de notre propre code à réécrire d'après leur description, comparées à l'originale sur 12 à 26 cas chacune.
- Relecture de sécurité : des extraits de notre code pris avant la correction de 22 failles connues, et les mêmes extraits après correction. Signaler une faille déjà corrigée est une fausse alerte certaine.
- Vitesse et confort : vitesse d'écriture, attente avant la réponse, temps de lecture d'une longue demande. Nous jugeons confortable un modèle qui écrit au moins 20 jetons par seconde (un mot français fait environ 1,5 jeton) et répond en 30 secondes en moyenne.
Mêmes consignes et mêmes outils pour tous, réglages recommandés par chaque éditeur, une requête à la fois. Les questions de gestion et l'écriture de code ont été passées deux fois, les 15 et 16 novembre 2026, pour mesurer la part de hasard.
Les résultats, modèle par modèle
| Modèle | Gestion sur 10 (1er / 2e passage) | Attente | Code réussi (1er / 2e) | Failles sur 22 / fausses alertes | Jetons /s | En bref |
|---|---|---|---|---|---|---|
| Qwen3.6 35B-A3B Alibaba, 38 Go | 10 / 10 | 12 s | 100 % / 85 % | 13 / 2 | 114 | le meilleur du banc : juste en gestion, bon en code, rapide |
| gemma-4-31b Google, 18 Go | 9 / 9 | 19 s | 99 % / 84 % | 10 / 1 | 25 | le plus juste et le plus prudent ; lent à lire les longs fichiers |
| gpt-oss-120b OpenAI, 63 Go | 8 / 8 | 15 s | 94 % / 84 % | 15 / 7 | 84 | rapide, bon partout, le meilleur pour repérer des failles |
| gemma-4-26b-a4b Google, 28 Go | 9 / 9 | 6 s | 56 % / 66 % | 11 / 4 | 80 | le plus rapide des justes en gestion ; moyen en code |
| Qwen3.5 122B-A10B Alibaba, 70 Go | 10 / 9 | 18 s | 70 % / 83 % | 8 / 0 | 71 | juste et prudent, mais occupe presque toute la mémoire |
| qwen3-coder-next Alibaba, 45 Go | 7 / 8 | 6 s | 89 % / 66 % | 12 / 9 | 93 | le plus rapide des bons modèles, pour le code |
| devstral-small-2 Mistral, 15 Go | 8 / 7 | 14 s | 88 % / 96 % | 8 / 2 | 33 | petit et correct |
| GLM-4.7-Flash Z.ai, 32 Go | 7 / 8 | 18 s | 38 % / 79 % | 10 / 0 | 62 | moyen partout ; un tiers des relectures illisibles |
| ornith 35B-A3B fusion de Qwen, 30 Go | 10 / 10 | 11 s | 12 % / 53 % | 7 / 3 | 129 | excellent en gestion, faible en code ; fusion faite par un particulier |
| qwen3.8-27b Alibaba, 16 Go | 10 / 10 | 50 s | 40 % / 53 % | 9 / 1 | 30 | juste, mais réfléchit longtemps avant de répondre |
| MiniMax M2.7 élagué MiniMax, élagué, 78 Go | 10 / – | 19 s | 70 % / – | 5 / 2 | 48 | choisit bien ses requêtes, répond en franglais |
| bonsai-27b PrismML, 8,5 Go | 7 / 9 | 89 s | 83 % / 44 % | 10 / 4 | 47 | compressé à 2 bits : lent et irrégulier |
| gpt-oss-safeguard-120b OpenAI, 62 Go | 6 / 6 | 29 s | 98 % / 100 % | 15 / 7 | 97 | fait pour classer des contenus ; réponses parfois illisibles |
| gpt-oss-20b OpenAI, 12 Go | 4 / 8 | 21 s | 83 % / 84 % | 10 / 8 | 124 | rapide, irrégulier en gestion |
| gpt-oss-safeguard-20b OpenAI, 11 Go | 3 / 2 | 26 s | 66 % / 81 % | 9 / 5 | 146 | réponses souvent vides |
| qwen3-vl-8b Alibaba, 6 Go | 5 / – | 3 s | 53 % / – | 2 / 3 | 93 | rapide mais trop faible |
| Kimi-Linear 48B Moonshot, 52 Go | 1 / – | 6 s | 53 % / – | 9 / 3 | 96 | s'arrête sur « Je vais… » sans répondre |
| MiniMax M2.1 élagué MiniMax, élagué, 78 Go | 2 / – | 185 s | 58 % / – | 8 / 2 | 48 | tourne en rond avec les outils |
Attente : temps moyen par question de gestion. Fausses alertes : sur 12 extraits déjà corrigés. « – » : modèle écarté avant le second passage. Taille : place occupée en mémoire dans la version installée (le plus souvent compressée en 4 bits ; en 8 bits pour Qwen3.6, gemma-4-26b et GLM).
En bleu, les 7 modèles qui font 8 sur 10 ou mieux, en moyenne sur les passages, en 30 secondes ou moins par question.
Ce que nous en retenons
- Gestion : le bon montage fait l'essentiel. Le modèle ne calcule pas, il choisit la table, les filtres et le regroupement, et la base fait le calcul exact. Cinq modèles ont fait 10 sur 10 au premier passage, et trois l'ont refait au second (Qwen3.6, ornith et qwen3.8). La plupart des erreurs des autres tiennent à trois pièges : compter des documents au lieu de clients distincts, donner un identifiant au lieu d'un nom, mal recopier un grand montant. Chacun se corrige plus sûrement dans l'outil que dans le modèle, et la correction profite à tous les modèles.
- Écriture de code : Qwen3.6-35B-A3B (100 % puis 85 %), gemma-4-31b, gpt-oss-120b, qwen3-coder-next et devstral réécrivent correctement la plupart des fonctions. Les modèles qui réfléchissent longtemps dépassent souvent la longueur permise avant d'avoir fini.
- Relecture de sécurité : le meilleur trouve 15 failles sur 22, mais il produit aussi des fausses alertes et des dizaines de constats généraux ou faux. Qwen3.6-35B-A3B offre le meilleur équilibre : 13 failles pour 2 fausses alertes. Un modèle local peut faire un premier tri, jamais un audit seul : chaque constat doit être vérifié.
- Vitesse : les modèles « MoE », qui n'activent qu'une petite partie d'eux-mêmes à chaque mot (gpt-oss, qwen3-coder-next, Qwen3.6, gemma-4-26b), écrivent 3 à 5 fois plus vite que les modèles « denses » de taille comparable. Les denses sont surtout lents à lire : plus d'une minute pour une longue demande avant le premier mot.
Relecture de sécurité : les mêmes extraits de code avant et après correction. Les deux meilleurs trouvent 15 failles sur 22, mais signalent aussi 7 failles dans des extraits déjà corrigés.
Vitesse d'écriture mesurée sur une même réponse longue. Tous les modèles passent le seuil de confort ; l'attente vient surtout de la lecture des longues demandes et du temps de réflexion.
Les quatre derniers venus
- Qwen3.6-35B-A3B (Alibaba, 38 Go) est le meilleur modèle du banc : 10 sur 10 en gestion aux deux passages, en 12 secondes par question, 100 % puis 85 % en écriture de code, 13 failles trouvées pour 2 fausses alertes, et plus de 100 jetons par seconde. C'est aussi le modèle d'origine d'ornith : la fusion a gardé la justesse en gestion, mais elle a cassé l'écriture de code (12 puis 53 %).
- gemma-4-26B-A4B (Google, 28 Go), la version rapide de gemma : 9 sur 10 aux deux passages en 6 secondes par question, le plus rapide des modèles justes. Il reste moyen en code. Au second passage, faute d'outil pour compter des clients distincts, il l'a dit au lieu d'inventer un chiffre : c'est le bon réflexe.
- Qwen3.5-122B-A10B (Alibaba, 70 Go) : 10 puis 9 sur 10, aucune fausse alerte, mais 18 secondes par question et presque toute la mémoire de la machine, pour ne pas faire mieux que Qwen3.6.
- GLM-4.7-Flash (Z.ai, 32 Go) : 7 puis 8 sur 10, malgré l'un des meilleurs chiffres publics avec les outils. En relecture de code, 9 réponses sur 27 sont illisibles après 5 minutes de réflexion.
Trois de ces modèles ont été essayés en 8 bits, moins compressés que la plupart des autres, ce qui peut les avantager un peu.
La part de hasard
Chaque modèle répond avec une part de hasard, voulue par son éditeur. Le second passage l'a mesurée :
- En gestion, le classement tient : 7 modèles sur 14 refont exactement le même score, et 5 autres ne bougent que d'un point. Deux exceptions : gpt-oss-20b passe de 4 à 8, bonsai-27b de 7 à 9.
- L'écriture de code bouge beaucoup plus, jusqu'à 41 points : sur 5 fonctions seulement, une fonction qui ne compile pas coûte 15 à 20 points. Un écart de moins de 20 points entre deux modèles ne veut rien dire.
- Un sans-faute sur 10 questions ne prouve pas l'absence d'erreur. Après 20 réponses justes, le taux d'erreur réel peut encore atteindre environ 15 %. Pour pouvoir affirmer moins de 1 %, il faut environ 300 questions sans une seule faute.
Les 14 modèles passés deux fois. Cercle vide : 1er passage ; cercle plein : 2e passage ; un seul cercle plein : même score les deux fois. En gestion les points restent groupés, en code ils s'écartent souvent de 15 à 40 points.
Les modèles réduits : un piège connu
Pour faire entrer un grand modèle dans la machine, on peut le compresser (moins de bits par paramètre) ou l'élaguer (retirer une partie de ses « experts »). Les deux MiniMax essayés ont été élagués de 40 % par la méthode REAP. Le premier tourne en rond avec les outils ; le second choisit très bien ses requêtes mais répond en franglais, avec des caractères parasites, même quand on lui demande d'écrire uniquement en français. C'est un défaut documenté de la méthode : l'élagage garde les experts utiles sur des textes surtout anglais, et les autres langues en souffrent bien plus que les mesures en anglais ne le laissent voir. Ces scores ne disent rien des modèles complets, trop grands pour la machine.
Ce que disent les chiffres publics
Relevé du 16 novembre 2026. SWE-bench Verified : corriger de vrais tickets de projets libres. τ²-bench : un dialogue de plusieurs tours avec des outils, le banc public le plus proche de nos questions de gestion. « éditeur » : chiffre publié par l'éditeur du modèle ; « tiers » : mesuré par un autre.
| Modèle | Éditeur, sortie, licence | Code : SWE-bench Verified | Outils : τ²-bench | Ce que ça éclaire |
|---|---|---|---|---|
| gpt-oss-120b | OpenAI, août 2025, Apache 2.0 | 62 (éditeur), 42 (NVIDIA) | 61 (NVIDIA) | 20 points d'écart selon qui mesure |
| gpt-oss-20b | OpenAI, août 2025, Apache 2.0 | 34 à 61 selon la source | 48 (tiers) | faible avec les outils, comme chez nous |
| gpt-oss-safeguard | OpenAI, oct. 2025, Apache 2.0 | – | – | fait pour classer des contenus, pas pour coder ni répondre |
| qwen3-coder-next | Alibaba, févr. 2026, Apache 2.0 | 71 (éditeur) | – | spécialiste du code, rapide |
| devstral-small-2 | Mistral, déc. 2025, Apache 2.0 | 68 (éditeur) | – | – |
| gemma-4-31b | Google, avril 2026, Apache 2.0 | – | 77 (éditeur) | le meilleur τ² des modèles testés, cohérent avec notre banc |
| qwen3.8-27b | Alibaba, août 2026, Apache 2.0 | non publié | non publié | le plus récent ; chez nous juste mais lent |
| bonsai-27b | PrismML, été 2026, Apache 2.0 | – | outils −17,5 % en 1 bit (tiers) | la compression extrême coûte d'abord sur les outils |
| ornith 35B-A3B | fusion faite par un particulier, juillet 2026 | aucun chiffre | – | à comparer à son modèle d'origine, Qwen3.6-35B-A3B |
| Qwen3.6-35B-A3B | Alibaba, 2026 | 73 (éditeur), 70 (NVIDIA) | – | le meilleur de notre banc aussi |
| Qwen3.5-122B-A10B | Alibaba, 2026 | 72 (éditeur) | 79,5 (éditeur), 74,5 (NVIDIA) | juste chez nous, mais pas meilleur que Qwen3.6 |
| gemma-4-26B-A4B | Google, avril 2026, Apache 2.0 | – | 68 (éditeur) | moins bien noté que le 31B, presque aussi juste chez nous |
| GLM-4.7-Flash | Z.ai, 2026 | – | 79,5 (éditeur) | le plus grand écart entre le papier et notre banc |
| Kimi-Linear 48B | Moonshot, oct. 2025, MIT | – | – | démonstrateur d'architecture, faible en code |
| MiniMax M2.1 / M2.7 complets | MiniMax, déc. 2025 / mars 2026 | 74 (éditeur) / 75 (tiers) | 87 en télécoms (éditeur, M2.1) | les versions élaguées n'ont aucun chiffre comparable |
- Les chiffres d'éditeur dépassent souvent ceux des tiers de 5 à 20 points, selon le montage d'essai.
- Ils sont mesurés sur le modèle complet, en pleine précision : jamais sur une version compressée ou élaguée comme celles qui tournent sur un Mac.
- Aucun ne teste le français ni les questions de gestion. τ²-bench, le plus proche, donne souvent le même ordre que notre banc (gemma devant gpt-oss-120b, gpt-oss-20b loin derrière), mais pas toujours : GLM-4.7-Flash, en tête avec 79,5, ne fait que 7 et 8 sur 10 chez nous. Un bon chiffre public ne dispense pas de mesurer.
La suite
- Qwen3.6-35B-A3B devient notre candidat pour un assistant de gestion installé chez nous. Il reste à le confirmer sur un banc bien plus large.
- Un banc de gestion bien plus large : des centaines de questions tirées de modèles, dont la réponse est calculée par la base, sans IA ; trois résultats distincts (juste, faux, « je ne sais pas ») ; le même modèle essayé avec des outils plus ou moins précis, et avec une vérification par un second calcul ; plusieurs passages, pour donner une fourchette plutôt qu'une note.