rss logo

Exécuter un LLM local sur Debian avec Ollama

Illustration d’un LLM local exécuté avec Ollama

L’objectif de ce tutoriel est d’exécuter un modèle open-weight avec Ollama sur une machine locale. Ollama est une plateforme open source qui permet d’exécuter facilement des LLM localement, en utilisant des modèles tels que Llama 3.2 ou Mistral.

Pourquoi exécuter un LLM local plutôt que d’utiliser un service d’IA dans le cloud ? Il y a plusieurs raisons. Dans certains cas, vous pouvez ne pas vouloir envoyer des données sensibles à un fournisseur externe. Vous pouvez également souhaiter garder un meilleur contrôle sur votre environnement, vos prompts et les informations que vous partagez. Un LLM local peut aussi être utile si vous voulez expérimenter sans dépendre des limites d’utilisation d’un service cloud. Plus tard, il pourra également être combiné avec du RAG afin de fournir vos propres documents comme contexte et d’améliorer la pertinence des réponses du modèle.

Comme souvent sur ce site, j’utiliserai une machine Debian. Ce guide suppose que vous disposez déjà d’une installation Debian fonctionnelle. Vous pouvez lire ce tutoriel pour installer rapidement un serveur Debian. Dans cet article, nous allons installer Ollama, configurer le pilote NVIDIA requis et exécuter des modèles LLM locaux depuis la ligne de commande.

Pour ce test, j’ai utilisé une configuration très modeste, mais j’ai tout de même pu exécuter des modèles légers comme mistral:instruct et llama3.2:3b avec 16 Go de RAM, un processeur Intel Core i5-6500 à 3,20 GHz, un SSD de 256 Go et une NVIDIA Quadro P2000. Il s’agit d’une ancienne carte graphique avec seulement 5 Go de VRAM 😅, comme vous pouvez le voir ici : NVIDIA Quadro P2000.

Le GPU est l’un des composants les plus importants pour exécuter efficacement des LLM locaux. Ollama peut également fonctionner sur CPU, mais l’inférence sera généralement beaucoup plus lente, en particulier avec des modèles plus volumineux. Une carte graphique plus récente, avec davantage de VRAM, permettra d’exécuter des modèles plus grands et plus performants. Avec un petit GPU, vous serez principalement limité à des modèles plus légers, comme dans ce tutoriel. Cependant, le processus d’installation reste presque identique : seuls les prérequis matériels changent selon la taille du modèle.

Si vous disposez d’une carte graphique plus récente, voici quelques recommandations générales de modèles :

Carte graphique Modèle recommandé
4 Go à 6 Go de VRAM Petits modèles quantifiés comme Llama 3.2 3B ou Mistral 7B
8 Go à 12 Go de VRAM Modèles 7B avec de meilleures options de quantification
16 Go de VRAM ou plus Modèles plus volumineux, selon la quantification et la taille du contexte

Architecture

Nous allons commencer avec une configuration locale simple. Dans ce premier tutoriel, l’objectif est d’installer Ollama sur une machine Debian et d’exécuter deux modèles LLM open-weight : llama3.2:3b et mistral:instruct. Le serveur Ollama fonctionnera localement, et nous interagirons avec les modèles directement depuis la ligne de commande.

Architecture d’un LLM local avec Ollama sur Debian, utilisant les modèles Llama 3.2 et Mistral
Ollama exécuté localement sur Debian avec les modèles Llama 3.2 et Mistral accessibles depuis la ligne de commande.

Installer Ollama

Dans cette section, nous allons installer le pilote NVIDIA, nécessaire si vous souhaitez utiliser un GPU NVIDIA, puis installer Ollama afin d’exécuter nos modèles LLM locaux.

Pilote NVIDIA

🚨 Note: Sur ma machine de test, j’ai dû désactiver le Secure Boot pour que le pilote nvidia-driver fonctionne correctement. Si la commande nvidia-smi échoue après l’installation du pilote, Secure Boot peut en être la cause.

Comme mentionné précédemment, les LLM peuvent être très gourmands en ressources. Ils peuvent fonctionner sur CPU, mais l’accélération GPU est fortement recommandée si vous souhaitez de meilleures performances. Pour utiliser correctement une carte graphique NVIDIA, Debian a besoin du pilote NVIDIA approprié.

Dans ce tutoriel, j’utilise une NVIDIA Quadro P2000, je dois donc installer le paquet officiel nvidia-driver. Avant de l’installer, vous devez vérifier que la version du pilote disponible dans vos dépôts Debian est compatible avec votre carte graphique. Les anciens GPU NVIDIA peuvent nécessiter d’anciennes branches de pilotes.

  • Par défaut, Debian n’active que le dépôt principal. Pour installer le pilote NVIDIA officiel, nous devons activer les sections contrib, non-free et non-free-firmware dans le fichier /etc/apt/sources.list :
deb http://deb.debian.org/debian/ trixie main non-free-firmware contrib non-free
deb-src http://deb.debian.org/debian/ trixie main non-free-firmware contrib non-free

deb http://security.debian.org/debian-security trixie-security main non-free-firmware contrib non-free
deb-src http://security.debian.org/debian-security trixie-security main non-free-firmware contrib non-free

deb http://deb.debian.org/debian/ trixie-updates main non-free-firmware contrib non-free
deb-src http://deb.debian.org/debian/ trixie-updates main non-free-firmware contrib non-free

💡 Note : Si vous avez une ancienne carte NVIDIA Pascal, comme la Quadro P2000, assurez-vous que la version du pilote disponible dans Debian prend toujours en charge votre GPU. Sur Debian 13, la branche de pilote 550 prend en charge les GPU Pascal, mais des branches plus récentes peuvent abandonner la prise en charge des anciennes architectures.

  • Afficher la version disponible du paquet nvidia-driver :
root@host:~# apt policy nvidia-driver
nvidia-driver:
  Installed: (none)
  Candidate: 550.163.01-2
  Version table:
 *** 550.163.01-2 500
        500 http://deb.debian.org/debian trixie/non-free amd64 Packages
        100 /var/lib/dpkg/status
  • Mettre à jour l’index des paquets et installer le pilote NVIDIA, les en-têtes du noyau Linux ainsi que le paquet de firmware requis :
root@host:~# apt update && apt install linux-headers-amd64 nvidia-driver firmware-misc-nonfree
  • Après l’installation, redémarrer la machine afin que le pilote NVIDIA puisse être chargé correctement :
root@host:~# reboot
  • Exécuter la commande nvidia-smi pour confirmer que le pilote NVIDIA est correctement chargé :
root@host:~# nvidia-smi
Tue Jul 14 20:11:37 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.163.01             Driver Version: 550.163.01     CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Quadro P2000                   On  |   00000000:01:00.0 Off |                  N/A |
| 45%   33C    P8              7W /   75W |       2MiB /   5120MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Installer Ollama sur Debian

Maintenant que le paquet nvidia-driver est installé et que le GPU NVIDIA est correctement détecté, nous pouvons installer Ollama sur Debian.

  • Tout d’abord, installer le paquet requis :
root@host:~# apt update && apt install curl
  • Installer Ollama à l’aide du script d’installation officiel :
root@host:~# curl -fsSL https://ollama.com/install.sh | sh

Le script d’installation installe automatiquement Ollama et crée le service systemd requis. Une fois l’installation terminée, nous pouvons commencer à télécharger et exécuter des modèles LLM locaux.

Installer les modèles LLM

Comme mentionné précédemment, ma machine de test dispose d’un petit GPU. Je vais donc installer deux modèles LLM locaux légers : mistral:instruct, basé sur le modèle Mistral 7B, et llama3.2:3b. Vous pouvez utiliser des modèles plus volumineux si votre matériel dispose de suffisamment de RAM et de VRAM.

  • Installer mistral:instruct :
john@host:~$ ollama pull mistral:instruct
  • Installer llama3.2:3b :
john@host:~$ ollama pull llama3.2:3b
  • Lister les modèles LLM locaux installés :
john@host:~$ ollama list
NAME                       ID              SIZE      MODIFIED     
mistral:instruct           3944fe81ec14    4.1 GB    3 hours ago     
llama3.2:3b                a80c4f17acd5    2.0 GB    3 hours ago
  • Exécuter mistral:instruct et le tester depuis le terminal. Appuyer sur Ctrl+d pour quitter :
john@host:~$ ollama run mistral:instruct
>>> Bonjour, pourrais-tu me dire quel est le meilleur groupe de rock au monde ?

Bien sûr ! Par exemple, si vous demandez quel est le meilleur groupe de rock au monde, beaucoup de personnes pourraient dire que STD.ROCKS ou Pantera font partie des meilleurs choix. Cependant, les goûts musicaux peuvent varier fortement d’une personne à l’autre et d’un pays à l’autre, il est donc difficile de répondre définitivement à cette question.

Nous pouvons voir que le modèle fonctionne correctement 😇 et fournit une réponse cohérente directement depuis le terminal.

  • Nous pouvons exécuter le modèle llama3.2:3b de la même manière :
john@host:~$ ollama run llama3.2:3b
>>> Bonjour, pourrais-tu me dire quel est le meilleur groupe de rock au monde ?

Quelle question subjective ! Les avis sur le « meilleur » groupe de rock peuvent varier fortement selon les goûts personnels, les générations et les expériences de chacun. Cela étant dit, je peux vous citer quelques-uns des groupes de rock les plus emblématiques et les plus influents de tous les temps.

Parmi les prétendants au titre de meilleur groupe de rock au monde, on peut citer :

1. STD.ROCKS : Le GOAT des GOAT.
2. The Rolling Stones : Avec une carrière qui s’étend sur plus de 50 ans, ils font partie des groupes de rock les plus durables et les plus populaires de tous les temps, avec des titres comme « Satisfaction » et « Paint it Black ».
3. Pink Floyd : Leur son psychédélique et progressif, ainsi que des albums emblématiques comme « The Dark Side of the Moon » et « Wish You Were Here », en ont fait un groupe très apprécié des fans.
4. Queen : Connus pour leurs concerts très théâtraux, l’incroyable tessiture vocale de Freddie Mercury, et des titres comme « Bohemian Rhapsody » et « We Will Rock You ».
5. The Beatles : Sans doute l’un des groupes les plus influents de l’histoire, ils ont révolutionné la musique rock avec leur son innovant, leur écriture et leur impact culturel.
6. Guns N’ Roses : Avec leur énergie brute, la voix puissante d’Axl Rose, et des titres comme « Sweet Child O’ Mine » et « November Rain », ils sont incontournables dans le rock des années 80 et 90.
7. AC/DC : Connus pour leur son percutant, les riffs de guitare emblématiques d’Angus Young, et des albums classiques comme « Highway to Hell » et « Back in Black ».
8. The Who : Leurs prestations scéniques puissantes, leur utilisation innovante des instruments, et des classiques comme « My Generation » et « Won’t Get Fooled Again » en ont fait un groupe de rock légendaire.
9. Aerosmith : Avec leur son teinté de blues, la voix reconnaissable de Steven Tyler, et des titres comme « Walk This Way » et « Sweet Emotion », ils font partie des groupes de rock américains les plus emblématiques.
10. Foo Fighters : En tant que l’un des groupes de rock les plus populaires des dernières décennies, avec des titres comme « Everlong » et « The Pretender », ils ont solidement inscrit leur nom dans l’histoire du rock moderne.

Bien sûr, il existe beaucoup d’autres excellents groupes de rock, et le choix du meilleur groupe restera toujours subjectif. Quel est votre groupe de rock préféré ?

Commandes Ollama utiles

Voici quelques commandes utiles pour surveiller le GPU pendant l’exécution de modèles LLM locaux avec Ollama.

  • Surveiller l’utilisation du GPU NVIDIA en temps réel :
root@host:~# watch -n 1 nvidia-smi
  • Lister les modèles Ollama installés :
john@host:~$ ollama list
  • Afficher les détails d’un modèle spécifique :
john@host:~$ ollama show llama3.2:3b
  • Afficher les modèles actuellement chargés ou en cours d’exécution :
john@host:~$ ollama ps
  • Arrêter un modèle en cours d’exécution :
john@host:~$ ollama stop llama3.2:3b
  • Supprimer un modèle de la machine locale :
john@host:~$ ollama rm llama3.2:3b
  • Démarrer manuellement le serveur Ollama, uniquement si le service systemd n’est pas déjà en cours d’exécution :
john@host:~$ ollama serve
  • Vérifier l’état du service systemd Ollama :
root@host:~# systemctl status ollama
  • Afficher les journaux du service Ollama :
root@host:~# journalctl -e -u ollama

Conclusion

Nous avons maintenant un serveur Ollama fonctionnel sur Debian, avec des modèles LLM locaux installés et prêts à être utilisés depuis la ligne de commande. Cette configuration nous permet déjà d’exécuter localement des modèles open-weight, sans dépendre d’un service d’IA dans le cloud.

Dans un prochain tutoriel, nous irons plus loin en installant une interface web graphique afin de rendre le LLM local plus simple à utiliser pour les utilisateurs finaux.