Ollama is een open-source tool waarmee gebruikers grote taalmodellen lokaal op hun eigen computers kunnen uitvoeren zonder cloudverbinding, API-sleutels of externe services te vereisen. Gelanceerd in 2023 vereenvoudigt Ollama het proces van het downloaden, configureren en uitvoeren van LLM's door modelgewichten, configuraties en runtime-afhankelijkheden in één beheersbaar systeem te verpakken. Het ondersteunt macOS, Windows en Linux, met een eenvoudige opdrachtregelinterface waar gebruikers kunnen starten met één opdracht zoals 'ollama run llama3' om een model te downloaden en ermee te communiceren. Ollama biedt toegang tot een groeiende bibliotheek van vooraf geconfigureerde open-source modellen, waaronder LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen en vele andere, beschikbaar in verschillende groottes en kwantiseringsniveaus om aan te sluiten bij verschillende hardwaremogelijkheden. Gebruikers kunnen modellen uitvoeren op consumentenhardware, waaronder Apple Silicon Macs, pc's met NVIDIA GPU's en zelfs systemen met alleen CPU, waarbij modellen automatisch worden geoptimaliseerd voor de beschikbare hardware. Een belangrijk voordeel van Ollama is dat alle verwerking lokaal plaatsvindt, wat betekent dat er geen gegevens de computer van de gebruiker verlaten, waardoor het geschikt is voor privacygevoelige gebruiksscenario's en air-gapped omgevingen. Ollama biedt een lokale REST API die compatibel is met het OpenAI-chatcompletieformaat, waardoor integratie met bestaande tools en applicaties mogelijk is. Dit heeft geleid tot een rijk ecosysteem van integraties van derden, waaronder web-UI's, IDE-plugins, desktoptoepassingen en ontwikkelingstools die Ollama gebruiken als lokale modelbackend. Gebruikers kunnen ook aangepaste modellen maken via Modelfiles die basismodellen, systeemprompts, parameters en adapters definiëren, waardoor gepersonaliseerde configuraties mogelijk zijn. Ollama ondersteunt functies zoals gelijktijdig laden van modellen, GPU-versnelling en multimodale modellen voor visuele taken. De tool is volledig gratis en open-source onder de MIT-licentie.

AI Modelhosting

Ollama maakt lokaal model hosting mogelijk door LLM's via een REST API op eigen hardware van de gebruiker te serveren. Het OpenAI-compatibele API-format stelt het in staat om als lokale modelserver te functioneren die integreert met ontwikkelingtools, web UI's en applicaties, en biedt self-hosted modelinfrastructuur zonder cloud-afhankelijkheden.

AI-onderzoekstools

Ollama wordt veel gebruikt door onderzoekers voor lokale experimenten met open-source modellen, wat snelle testen, vergelijking en evaluatie van verschillende LLM's mogelijk maakt zonder API-kosten of gegevensprivacy-problemen. De ondersteuning voor custom model-configuraties maakt het nuttig voor onderzoeksworkflows en prototyping.

LLM-API's

Ollama exponeert een lokale REST API die compatibel is met het OpenAI chat completions-format, wat ontwikkelaars in staat stelt om lokaal draaiende modellen te gebruiken met dezelfde API-patronen die bij cloud LLM-providers worden gebruikt. Dit maakt het een gratis, privé alternatief op cloud-gebaseerde LLM-API's voor ontwikkeling en testen.

Open source-LLM's

Ollama is het populairste tool voor het lokaal draaien van open-source LLM's, biedt eenvoudige toegang tot modellen zoals LLaMA, Mistral, Gemma, DeepSeek en tientallen andere. Het handelt model-downloads, quantisatie en hardware-optimalisatie af, waardoor open-source language models toegankelijk worden voor iedereen met een personal computer.