Faire tourner un distill de DeepSeek sur sa propre machine, ça existait déjà, et les petites versions n'ont jamais été les plus intéressantes. Le neuf, c'est que le DeepSeek-V4-Flash complet, 284 milliards de paramètres, décode maintenant entre 22 et 25 tokens par seconde sur un PC équipé d'une seule carte RTX et de beaucoup de RAM système, le genre de machine qu'on trouve autant chez les gamers que dans les bureaux. L'outil s'appelle FreeToken, publié il y a deux semaines par une équipe de Berkeley et d'UT Austin, gratuit et open source, et n'importe quelle RTX série 30, 40 ou 50 est prise en charge, y compris une 3090 de 2020. En poussant plus loin, il fait tourner GLM-5.2, un modèle de 753 milliards de paramètres, sur un seul GPU de station de travail, et un mixture-of-experts de 35B à vitesse utilisable sur une carte de laptop de 8 Go.
Si ces chiffres tiennent (ils viennent des auteurs eux-mêmes, j'y reviens plus bas), le mur de la VRAM entre les modèles de taille frontière et le matériel qu'on peut réellement s'acheter vient de reculer, et faire tourner chez soi la nouvelle génération de gros modèles open-weight cesse d'être un exploit de salon.
Depuis, mon fil déborde de posts « FreeToken vs Ollama », et la plupart passent à côté de l'essentiel : ces outils ne sont pas concurrents. Ollama sert des modèles, LM Studio est une interface, Unsloth Studio entraîne des modèles, et FreeToken est un nouveau moteur pour un problème précis et difficile.
Si ça me parle autant, c'est à cause de Kimi K3. Il y a un mois, j'ai téléchargé ses poids uniquement pour les poser sur une étagère : premier modèle open-weight à se hisser dans le top 3 de la frontière, mais le faire tourner chez soi exigeait un supernœud de 64 GPU et une discussion avec le fournisseur d'électricité. C'est la direction que prennent les gros modèles ouverts depuis un an : libres à télécharger, impossibles à exécuter. FreeToken est le premier outil qui pousse dans l'autre sens, alors autant démêler ce qu'il est vraiment, et ce qu'il n'est pas.
Quatre outils, quatre métiers
Ollama, c'est le choix par défaut des développeurs : une commande et un modèle tourne derrière une API compatible OpenAI sur votre machine. Licence MIT, 88 millions levés, 8,9 millions de développeurs mensuels revendiqués pour 14 salariés, et désormais une offre cloud payante pour les modèles que votre GPU ne peut pas avaler. Il fait tourner des modèles. Il ne les entraîne pas, et ce n'est même pas la façon la plus rapide de les exécuter.
LM Studio, c'est l'application de bureau : parcourir Hugging Face, télécharger, discuter, servir. Code fermé, mais gratuit pour un usage commercial depuis mi-2025. Sur Apple Silicon, son moteur MLX est franchement rapide : un benchmark indépendant ce printemps a mesuré 102 tokens par seconde là où Ollama en sortait 70 sur le même M4 Pro. C'est celle que j'installerais chez un non-développeur.
Unsloth Studio, c'est l'intrus, et pour moi le métier le plus intéressant des quatre : le fine-tuning sans code. On choisit un modèle de base, on dépose un dataset, on regarde la courbe de loss, on exporte un GGUF. En bêta depuis mars, signé par la startup YC de deux frères dont la bibliothèque se télécharge 8 millions de fois par mois sur Hugging Face. L'entraînement exige une carte NVIDIA ; une 4090 est un plancher confortable pour un modèle 8B.
FreeToken, c'est un moteur tout neuf, sorti de la recherche universitaire, pour un seul problème : les modèles mixture-of-experts bien plus gros que votre VRAM. NVIDIA uniquement, Linux et Windows, Apache 2.0, environ deux semaines d'existence. C'est la liste des auteurs qui m'a fait dresser l'oreille : Ion Stoica et Matei Zaharia, les gens derrière Spark, Ray et vLLM.
Comparer FreeToken à Ollama, c'est comparer un prototype de moteur de course à une camionnette de livraison. Les deux contiennent un moteur. La ressemblance s'arrête à peu près là.
Côte à côte
| Ollama | LM Studio | Unsloth Studio | FreeToken | |
|---|---|---|---|---|
| Le métier | servir des modèles en local | interface + serveur local | fine-tuning sans code | exécuter d'énormes MoE |
| Depuis | 2023 | 2023 | mars 2026 | août 2026 |
| Licence | MIT | propriétaire, gratuit au travail | cœur Apache 2.0, UI AGPL | Apache 2.0 |
| Plateformes | Win/Mac/Linux | Win/Mac/Linux | Win/Linux, Mac partiel | Win/Linux, NVIDIA uniquement |
| Fine-tuning ? | non | non | oui | non |
| Point faible | plus lent que llama.cpp nu | code fermé | bêta, pas d'entraînement Mac | jeune, chiffres non vérifiés |
Ce que FreeToken fait différemment
Les modèles mixture-of-experts n'activent que quelques experts par token : le calcul est léger, mais chaque expert doit rester accessible en mémoire. Au premier lancement, FreeToken profile la bande passante PCIe et CPU de votre machine, puis répartit le travail entre GPU, CPU et RAM système dans la proportion que votre configuration précise peut soutenir. Sans tricher sur la qualité : les sorties des experts restent identiques au bit près.
Face aux outils en place, les gains annoncés sont réels : GLM-5.2, le fameux 753B, décode à environ 15 tokens par seconde sur un seul GPU de 96 Go là où llama.cpp plafonne à 7, et Qwen3.6-35B atteint 39,3 sur un GPU de laptop de 8 Go, environ 92 % de ce qu'obtient une 4090 de bureau.
Le chiffre qui m'intéresse le plus n'est aucun de ceux-là. C'est la latence de queue : leur pire tour est resté sous les 44 secondes, contre environ quatre minutes pour llama.cpp et trois pour Ollama. Si vous branchez un agent de code sur un modèle local, tout se joue là, parce que les agents tuent les tours qui traînent. FreeToken livre même une commande qui le branche directement sur Claude Code et ses cousins.
Lequel est fait pour vous
Si vous écrivez du code : Ollama reste le backend par défaut, surtout parce que tout s'intègre avec lui. Si vous voulez les derniers 10 à 25 % de vitesse, descendez d'un étage vers llama.cpp lui-même.
Si vous voulez juste discuter avec un modèle, ou que vous êtes sur Mac : LM Studio. Gratuit au travail désormais, rapide sur Apple Silicon, et FreeToken ne tourne tout simplement pas sur Mac.
Si vous voulez un modèle qui connaît vos données : Unsloth Studio est le seul des quatre à le faire. Le fine-tuning, c'était une semaine de Python ; c'est devenu une soirée de clics. Pour des données juridiques ou médicales qui ne doivent pas approcher une API, c'est un vrai déblocage.
Si vous possédez une grosse carte NVIDIA et qu'un agent de code tourne chez vous toute la journée : FreeToken est celui à suivre. C'est le seul outil ici conçu pour garder un modèle de taille frontière en route sur votre bureau à longueur de journée.
Les réserves honnêtes
Chaque chiffre FreeToken ci-dessus a été mesuré par ses propres auteurs, et le projet a deux semaines, donc personne d'indépendant ne les a encore confirmés. Une affirmation phare ne résiste déjà pas à une lecture attentive : le « 2,4x plus rapide » du papier compare un chiffre de bout en bout à des chiffres de décodage pur, et en comparant ce qui est comparable on est plus près de 1,3x. Sur les petits modèles denses, llama.cpp fait déjà jeu égal. Et il n'y a ni support Mac, ni multi-GPU, ni GGUF, et l'équipe cœur compte environ trois personnes.
Les autres ont leurs propres bémols. Unsloth Studio est en bêta, et son interface est sous AGPL, ce qui compte si vous voulez l'embarquer dans un produit commercial. Ollama a forké son propre moteur en s'éloignant de llama.cpp et a réintroduit des bugs déjà corrigés en amont, après avoir passé un an sans créditer llama.cpp du tout. LM Studio est en code fermé, ce qui vous dérange ou pas.
Où j'atterris
Mon hot take, sans trop m'y accrocher : FreeToken le produit ne gagnera probablement pas, FreeToken les idées, si. L'open source a l'habitude de replier les bonnes astuces dans les outils que tout le monde utilise déjà, et je m'attends à voir llama.cpp gérer les experts selon la bande passante d'ici un an. Très bien. Que les idées soient libres, c'est justement le but, et le nom l'annonce : toute la promesse, ce sont des tokens que vous ne payez pas, sur du matériel que vous possédez déjà.
En juillet, j'écrivais que les poids ouverts avaient rattrapé les flagships payants, et que la seule chose qui les tenait hors de nos salons, c'était la facture matérielle. Cette facture n'a pas disparu ce mois-ci, mais elle a fondu plus vite que je ne l'attendais. La copie de K3 sur mon étagère finira peut-être par démarrer. Le futur moi et le fournisseur d'électricité sont tous les deux un peu plus optimistes cette semaine.
Tiré du papier FreeToken (arXiv 2608.16157) et de son dépôt GitHub, de l'annonce de Série B d'Ollama et de la couverture de TechCrunch, du changelog de LM Studio, de la documentation d'Unsloth, d'un benchmark Apple Silicon d'asiai.dev et d'une analyse sceptique de Cloud Codes sur le cadrage du papier. Un instantané au 25 août 2026. Chaque benchmark FreeToken est mesuré par ses auteurs et non vérifié à la publication, et les étoiles GitHub, prix et numéros de version vieillissent vite, alors vérifiez les dépôts avant de me citer.