Ollama est un outil open-source qui permet aux utilisateurs d'exécuter de grands modèles de langage localement sur leurs propres ordinateurs sans nécessiter de connectivité cloud, de clés API ou de services externes. Lancé en 2023, Ollama simplifie le processus de téléchargement, de configuration et d'exécution des LLMs en empaquetant les poids du modèle, les configurations et les dépendances d'exécution en un seul système gérable. Il supporte macOS, Windows et Linux, avec une interface de ligne de commande simple où les utilisateurs peuvent commencer avec une seule commande comme « ollama run llama3 » pour télécharger et interagir avec un modèle. Ollama fournit un accès à une bibliothèque croissante de modèles open-source préconfigurés incluant LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen et bien d'autres, disponibles en différentes tailles et niveaux de quantification pour s'adapter à différentes capacités matérielles. Les utilisateurs peuvent exécuter des modèles sur du matériel grand public incluant les Macs Apple Silicon, les PC avec GPU NVIDIA, et même les systèmes CPU uniquement, avec les modèles automatiquement optimisés pour le matériel disponible. Un avantage clé d'Ollama est que tout le traitement se fait localement, ce qui signifie qu'aucune donnée ne quitte la machine de l'utilisateur, le rendant adapté aux cas d'usage sensibles à la confidentialité et aux environnements isolés. Ollama expose une API REST locale compatible avec le format de complétions de chat OpenAI, permettant l'intégration à des outils et applications existants. Cela a mené à un riche écosystème d'intégrations tierces incluant des interfaces web, des plugins IDE, des applications de bureau et des outils de développement qui utilisent Ollama comme backend de modèle local. Les utilisateurs peuvent également créer des modèles personnalisés via les Modelfiles qui définissent les modèles de base, les prompts système, les paramètres et les adaptateurs, permettant des configurations personnalisées. Ollama supporte des fonctionnalités comme le chargement concurrent de modèles, l'accélération GPU et les modèles multi-modaux pour les tâches de vision. L'outil est entièrement gratuit et open-source sous la licence MIT.

Hébergement de modèles IA

Ollama permet l'hébergement local de modèles en servant les LLM via une API REST sur le matériel de l'utilisateur. Son format d'API compatible OpenAI lui permet de fonctionner comme un serveur de modèle local qui s'intègre aux outils de développement, aux interfaces web et aux applications, fournissant une infrastructure de modèle auto-hébergée sans dépendances cloud.

Outils de recherche IA

Ollama est largement utilisé par les chercheurs pour l'expérimentation locale avec des modèles open-source, permettant des tests rapides, la comparaison et l'évaluation de différents LLM sans frais d'API ni préoccupations concernant la confidentialité des données. Son support pour les configurations de modèles personnalisés le rend utile pour les flux de travail de recherche et le prototypage.

API LLM

Ollama expose une API REST locale compatible avec le format des complétions de chat OpenAI, permettant aux développeurs d'interagir avec des modèles s'exécutant localement en utilisant les mêmes schémas d'API utilisés avec les fournisseurs LLM cloud. Cela en fait une alternative gratuite et privée aux API LLM basées sur le cloud pour le développement et les tests.

LLM open source

Ollama est l'outil le plus populaire pour exécuter des LLM open-source localement, fournissant un accès facile à des modèles comme LLaMA, Mistral, Gemma, DeepSeek et des dizaines d'autres. Il gère le téléchargement des modèles, la quantification et l'optimisation matérielle, rendant les modèles de langage open-source accessibles à quiconque possédant un ordinateur personnel.