Installe une IA en local : gratuite, privée, sans abonnement (Guide Complet)

Dans cet article, je ne vais pas juste te dire « clique ici, clique là ». Je vais t'expliquer comment chaque concept fonctionne. Comme ça, peu importe quand tu lis ces lignes — aujourd'hui ou dans un an, sur un PC à 400 € ou sur une machine de guerre — tu sauras exactement quoi faire pour ta situation.

On commence par la théorie indispensable, puis on installe tout, étape par étape.

Comment fonctionne un modèle (et pourquoi c'est important)

Avant même de télécharger quoi que ce soit, il faut comprendre comment ces modèles tournent sur ta machine. C'est ça qui détermine ce que tu peux installer et comment l'installer efficacement. Si tu sautes cette partie, tu vas télécharger des trucs au hasard sans comprendre pourquoi ça rame. Donc accorde-moi deux minutes, ça vaut le coup.

Un modèle se résume à deux choses qu'on doit garder en tête : les paramètres et le contexte.

Les paramètres

Si tu regardes n'importe quel modèle, tu vas voir un nombre suivi d'un « B ». Ce B veut dire billion en anglais, c'est-à-dire milliard. Donc un modèle « 7B » a 7 milliards de paramètres, un modèle « 235B » en a 235 milliards. Certains montent à 600, 700, 800 milliards.

Concrètement, un paramètre c'est quoi ? Imagine le cerveau du modèle comme un gigantesque réseau de petits boutons de réglage. Chaque paramètre est l'un de ces boutons, ajusté pendant l'entraînement pour que le modèle « sache » des choses. Plus tu as de paramètres, plus le modèle est capable de nuances, de raisonnement et de connaissances. Mais forcément, plus il est gros, plus il a besoin de ressources pour tourner.

Retiens juste ça pour l'instant : plus de paramètres = plus intelligent, mais aussi plus lourd.

Le contexte

Le contexte, c'est la quantité d'informations que le modèle peut garder « en tête » en même temps. C'est sa mémoire de travail. Quand tu lui donnes du code, des documents ou l'historique d'une conversation, tout ça occupe du contexte.

Les tailles de fenêtre varient beaucoup. Avec 128 000 tokens, tu peux déjà caser pas mal de choses. Avec 1 million, encore plus. Mais si ta fenêtre de contexte est trop petite, le modèle « oublie » vite et perd le fil.

Les modèles récents ont des fenêtres de plus en plus grandes : ils retiennent plus d'informations, oublient moins souvent et sont meilleurs sur les tâches longues. Si tu as déjà eu une IA qui perd le fil au milieu d'une longue conversation, c'est souvent un problème de contexte saturé.

Donc, avant de choisir un modèle, deux questions : combien de paramètres, et combien de contexte je veux lui donner ? Parce que ces deux éléments déterminent la taille que le modèle va occuper sur ta machine. Et ça nous amène au concept le plus important de tout l'article.

Où tourne vraiment ton modèle : la VRAM

Tous ces modèles tournent sur ton GPU, ta carte graphique. Un GPU a plein de caractéristiques — sa vitesse, son nombre de cœurs — mais la statistique la plus importante pour nous, c'est la VRAM : la Video RAM, la mémoire dédiée à ta carte graphique. C'est là-dedans que le modèle va se charger.

PC vs Mac : une différence à connaître

Sur Mac récent (puces Apple Silicon M1, M2, M3, etc.), on parle de mémoire unifiée : le processeur et la partie graphique partagent la même mémoire. L'avantage, c'est que tu peux souvent avoir des chiffres de mémoire élevés pour un prix raisonnable, et donc charger de plus gros modèles.

Sur PC avec une carte graphique dédiée, tu as généralement moins de VRAM, mais elle est souvent un peu plus rapide et exclusivement réservée au GPU.

Ce qui se passe quand tu charges un modèle

Quand tu lances un modèle, ta machine prend tout le modèle — tous les paramètres — et essaie de le faire rentrer directement dans la VRAM de ta carte graphique.

Personnellement, je tourne sur une RTX 3070 Ti avec 8 Go de VRAM. Mais prenons l'exemple d'un GPU avec 16 Go : ça veut dire que tu peux charger un modèle qui tient dans ces 16 Go, en comptant aussi le contexte et tout ce dont le modèle a besoin.

Et si le modèle est plus gros que ta VRAM ? Là, ça déborde. Le modèle remplit d'abord la VRAM au maximum, puis l'excédent part dans la RAM système (la RAM normale de ton ordinateur). Et c'est là que la vitesse s'effondre — on le verra en démo, c'est assez spectaculaire.

Petite digression qui explique l'actualité : c'est exactement pour ça que les cartes graphiques et la RAM sont devenues hors de prix. Tous les acteurs de l'IA s'arrachent les GPU et la mémoire pour faire tourner leurs énormes modèles. La demande explose, donc les prix montent.

Un exemple chiffré

Prenons un modèle de 70 milliards de paramètres en quantization Q4 (j'explique la quantization plus bas). Chaque paramètre en Q4 pèse environ 0,55 octet. Donc :

• Poids du modèle : 70 milliards × 0,55 ≈ 38,5 Go
• Contexte (8 000 tokens) : environ 1 Go
• Besoin total : ≈ 39,5 Go

Pour une carte de 16 Go de VRAM, c'est beaucoup trop. Environ 24 Go vont déborder dans la RAM système… et ça va ramer. La règle est simple : plus la part du modèle qui tient dans la VRAM est grande, plus le nombre de tokens par seconde est élevé. Dès qu'une partie passe en RAM système, la vitesse chute.

Connaître sa VRAM et sa RAM

Avant de choisir un modèle, tu dois connaître deux chiffres : ta VRAM (carte graphique) et ta RAM système.

Sur Windows : ouvre le Gestionnaire des tâches → onglet Performances → clique sur ton GPU. La ligne « Mémoire GPU dédiée » te donne ta VRAM (8 Go pour ma 3070 Ti). Juste au-dessus, tu as la mémoire système (64 Go chez moi, parce que je fais aussi du montage vidéo).

Sur Mac : menu Pomme → « À propos de ce Mac ». Le chiffre « Mémoire » est celui qui compte, puisqu'il est partagé. Attention : sur Mac à mémoire unifiée, une fois la limite atteinte, c'est atteint — il n'y a pas de débordement possible.

Installer LM Studio

Le moyen le plus simple pour démarrer, c'est LM Studio. Son interface est vraiment bien faite et elle rend visuels tous ces concepts de RAM qu'on vient de voir, même pour un débutant.

LM Studio est disponible pour Windows, Mac et Linux. Tu télécharges, tu installes, c'est tout simple. Au premier lancement, tu arrives sur un écran avec, à gauche, un onglet pour rechercher des modèles.

Trouver et choisir un modèle

Dans la recherche de modèles, si tu sais déjà ce que tu veux, tu peux taper le nom directement. Moi, je sais que les modèles Qwen sont plutôt bons pour le code, donc je tape « Qwen ».

Plusieurs choses à lire dans les résultats : le nom du modèle, le fameux nombre de paramètres (27B, 9B…), et l'estimation de l'espace que ça va prendre. Par exemple, un Qwen de 27 milliards de paramètres pèse environ 17,48 Go : avec mes 8 Go de VRAM, ça déborderait. À côté, un Qwen 9B fait environ 6,55 Go : celui-là, je peux le charger entièrement sur mon GPU.

C'est le compromis fondamental à intégrer : plus le modèle est petit, moins il est bon en général, mais plus il est rapide (il tient entièrement dans la carte). Plus il est gros, plus il est intelligent, mais plus il risque de déborder et de ralentir. Tout le travail consiste à trouver le bon équilibre pour ton matériel.

La quantization

Quand tu cliques sur un modèle, tu vois plusieurs versions : Q4, Q6, Q8, FP16… Ce « Q », c'est la quantization. C'est un concept clé, donc je prends le temps de bien l'expliquer.

Imagine que chaque paramètre est un nombre très précis, avec plein de décimales — comme le nombre pi, 3,14159265. La quantization, c'est le fait d'arrondir ces nombres pour les rendre plus courts (3,14, voire 3). Tu perds un peu de précision, mais le modèle prend beaucoup moins de place.

• 16 bits (FP16) : modèle brut, pleine précision, aucune compression.
• Q8 : environ la moitié de la taille.
• Q4 : encore moitié moins.

Le chiffre après le Q, c'est le niveau de précision en bits. Plus il est bas, plus c'est compressé et léger, mais plus tu perds en qualité.

En pratique, le Q4 est un excellent point de départ pour la plupart des gens et des usages. Si tu as beaucoup de VRAM, monte en Q6 ou Q8 pour gagner en qualité. Si tu es vraiment serré niveau matériel, tu peux descendre en Q3 ou Q2 pour les très gros modèles.

Les capacités du modèle

Autre chose à vérifier : les capacités, affichées sous forme de badges.

• Vision : le modèle peut traiter des images. Tu lui en donnes une, il peut la décrire ou l'analyser.
• Tool use (utilisation d'outils) : le modèle peut appeler des outils. Indispensable pour les workflows de code agentique, où il doit lancer des commandes, lire des fichiers, etc.
• Reasoning (raisonnement) : c'est un modèle « pensant ». Il réfléchit étape par étape avant de répondre. C'est un peu plus lent, mais la qualité est nettement meilleure sur les tâches complexes.

Selon ton usage : pour du chat basique, n'importe quel modèle fait l'affaire. Pour des tâches plus poussées, vise le reasoning. Ces modèles ont tendance à être plus gros — mais l'astuce MOE plus bas permet de les faire tourner quand même.

Aller plus loin avec HuggingFace

Si tu ne trouves pas ton bonheur dans LM Studio, il existe une bibliothèque bien plus grande : HuggingFace, un peu le GitHub des modèles d'IA, l'endroit où la communauté publie tout.

Tu peux trier par Trending pour voir les modèles populaires du moment, et filtrer par nombre de paramètres pour trouver quelque chose qui rentre dans ta carte. Tu peux aussi demander à une IA, selon les caractéristiques de ton ordinateur, quel modèle serait le plus adapté.

Quand tu trouves un modèle intéressant, clique dessus puis cherche « Use this model ». Plus bas, tu retrouves les quantizations (la version brute en 16 bits est généralement bien trop grosse pour tourner en local). Même logique que tout à l'heure : 16 bits = brut, 8 bits = moitié, 4 bits = le meilleur compromis. Tu peux ensuite ouvrir directement le modèle voulu dans LM Studio.

Charger un modèle correctement

Télécharger un modèle ne veut pas dire qu'il est chargé et prêt à l'emploi. Il faut le charger en mémoire et régler quelques paramètres.

Au moment de charger, coche l'option qui permet de choisir manuellement les paramètres de chargement : ça débloque tous les réglages fins. Deux réglages comptent vraiment.

GPU Offload. Si tu peux faire tenir tout le modèle sur ta carte graphique, pousse ce curseur au maximum. Ça force le chargement complet sur le GPU plutôt que sur le CPU ou la RAM système, ce qui donne la vitesse maximale.

Taille du contexte. C'est ici qu'on règle le contexte vu en début d'article. Plus tu l'augmentes, plus la taille totale du modèle monte (le contexte occupe de la mémoire). Ne le maxe pas systématiquement : pour du chat basique, 5 000 à 10 000 tokens suffisent largement. Pour des tâches longues, tu montes, mais en surveillant que ça rentre.

Pour résumer : GPU Offload au max si ça rentre, contexte ajusté à un niveau raisonnable, puis tu charges le modèle. Une fois chargé, vérifie toujours tes statistiques de VRAM/RAM. L'objectif, c'est d'être proche du maximum de la VRAM, mais sans déborder — parce que si ton contexte se remplit en cours de route et que ça déborde, tu ralentis d'un coup.

L'astuce pour faire tourner de gros modèles : le MOE

Le souci avec tout ça, c'est qu'on est limité à des petits modèles, moins intelligents que les gros monstres type cloud. Mais il existe une astuce pour charger de gros modèles tout en gardant de bonnes performances : chercher un modèle MOE — Mixture of Experts (mélange d'experts).

Le concept

Un modèle classique, c'est comme un seul cerveau géant où tout s'active à chaque réponse. Forcément, ça consomme tout, tout le temps.

Un modèle MOE, c'est différent : imagine une équipe de spécialistes. Tu as un modèle énorme sur le papier, mais à chaque instant, seuls les experts pertinents pour la tâche s'activent. Le reste reste en sommeil.

Pour les reconnaître, regarde le nom : tu verras une notation du style « 35B-A3B ». Le premier nombre (35B) est la taille totale du modèle. Le deuxième, avec le « A » (A3B = 3 milliards), est le nombre de paramètres actifs à un instant donné. Donc un modèle de 35 milliards de paramètres dont seulement 3 milliards travaillent à la fois.

L'intérêt est énorme : on peut mettre les parties qui travaillent fort sur le GPU (rapide), et les parties qui dorment sur la RAM système (lent, mais peu sollicité). Du coup, le débordement sur la RAM système coûte beaucoup moins cher en vitesse qu'avec un modèle classique.

Le réglage à utiliser

Quand tu charges un modèle MOE dans LM Studio, un réglage spécial apparaît : le nombre de couches à forcer sur le CPU. Ce réglage déporte les poids des experts MOE vers la RAM système, où ils seront calculés par le CPU, tout en gardant les couches essentielles (l'attention) sur ton GPU. Comme seuls quelques experts s'activent à chaque token, ce déport coûte beaucoup moins cher en vitesse que de faire déborder n'importe quelle partie du modèle.

À retenir : CPU et RAM système vont ensemble, GPU et VRAM vont ensemble. Le CPU ne lit pas la VRAM ; quand il traite des poids, il les prend dans la RAM système.

La méthode :

1. GPU Offload au maximum (autant que possible sur la carte).
2. Contexte réglé selon ton besoin (pour de la conversation, inutile de tout maxer).
3. Expérimente avec le nombre de couches sur CPU : garde-le le plus bas possible tout en ayant de bonnes performances. Plus c'est bas, mieux c'est (plus de choses restent sur le GPU). Si ta carte manque de place, augmente progressivement jusqu'à trouver l'équilibre — par exemple 30 couches sur 40 envoyées au CPU, et les 10 plus rapides gardées sur le GPU.

Concrètement, sur mon matériel, faire tourner un gros modèle MOE avec ce réglage me donne autour de 22 tokens par seconde. Ce n'est pas ultra rapide, mais c'est des années-lumière plus rapide que de faire déborder bêtement ce même modèle sur la RAM. Sans le réglage MOE, la consommation mémoire explose et tout sature : à chacun de trouver le bon équilibre selon sa machine.

Une note pour les utilisateurs de Mac

Le réglage « forcer les couches sur le CPU » est surtout utile sur PC avec carte dédiée, parce qu'il contourne la limite de VRAM. Sur Mac à mémoire unifiée, tu n'en as généralement pas besoin (ni gain, ni pénalité) : tu laisses tout sur le GPU. En revanche, les modèles MOE restent très intéressants sur Mac, justement parce que peu de paramètres s'activent par token — tu obtiens la vitesse d'un petit modèle avec la qualité d'un gros. Un Mac avec une grosse mémoire unifiée est même l'un des meilleurs environnements pour faire tourner de gros MOE.

Et si tu as un petit PC ?

Tout ce que je t'ai montré, c'était plutôt avec de gros modèles. Mais tu peux aussi chercher des modèles bien plus petits : certains ne prennent qu'1 Go de VRAM, et n'importe quelle carte graphique, même ancienne, peut les faire tourner.

Le principe reste le même : si ton matériel est limité, tu réduis l'échelle. Tu choisis des modèles plus petits et/ou des quantizations plus poussées (Q3, Q2), ce qui réduit la taille au prix d'une légère baisse de qualité. Et si tu combines ça avec un modèle MOE, tu peux faire tourner des modèles étonnamment gros même sur une machine modeste.

Conclusion

L'IA en local n'est pas réservée à ceux qui ont une bête de course. C'est avant tout une question de comprendre les réglages — paramètres, contexte, VRAM, débordement, quantization, MOE — et maintenant, tu les comprends. Tu as une IA privée, gratuite et rapide, qui tourne entièrement chez toi.