Ollama er et åpen kildekode-verktøy som gjør det mulig for brukere å kjøre store språkmodeller lokalt på sine egne datamaskiner uten å kreve skytilkobling, API-nøkler eller eksterne tjenester. Lansert i 2023 forenkler Ollama prosessen med å laste ned, konfigurere og kjøre LLMer ved å pakke modellvekter, konfigurasjoner og kjøretidsavhengigheter inn i et enkelt håndterbart system. Det støtter macOS, Windows og Linux, med et enkelt kommandolinjegrensesnitt der brukere kan komme i gang med en enkelt kommando som 'ollama run llama3' for å laste ned og samhandle med en modell. Ollama gir tilgang til et voksende bibliotek av forhåndskonfigurerte åpen kildekode-modeller inkludert LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen og mange andre, tilgjengelige i ulike størrelser og kvantiseringsnivåer for å matche forskjellige maskinvaremuligheter. Brukere kan kjøre modeller på forbrukerhardware inkludert Apple Silicon Mac-er, PCer med NVIDIA GPUer og til og med CPU-baserte systemer, med modeller automatisk optimalisert for tilgjengelig maskinvare. En viktig fordel med Ollama er at all behandling skjer lokalt, noe som betyr at ingen data forlater brukerens maskin, noe som gjør det egnet for personvernsensitive brukstilfeller og luftgapede miljøer. Ollama eksponerer et lokalt REST API kompatibelt med OpenAI chatfullføringsformatet, noe som muliggjør integrasjon med eksisterende verktøy og applikasjoner. Dette har ført til et rikt økosystem av tredjepartsintegrasjoner inkludert nettgrensesnitt, IDE-programtillegg, skrivebordsapplikasjoner og utviklingsverktøy som bruker Ollama som lokal modellbackend. Brukere kan også opprette egendefinerte modeller gjennom Modelfiles som definerer grunnmodeller, systemprompts, parametere og adaptere, noe som muliggjør personaliserte konfigurasjoner. Ollama støtter funksjoner som samtidig modellasting, GPU-akselerasjon og multimodale modeller for synsoppgaver. Verktøyet er helt gratis og åpen kildekode under MIT-lisensen.

AI-modellhosting

Ollama muliggjør lokal modelldrift ved å betjene LLM-er gjennom et REST-API på brukerens egen maskinvare. Dens OpenAI-kompatible API-format gjør det mulig for den å fungere som en lokal modellserver som integreres med utviklingsverktøy, web-grensesnitt og applikasjoner, og tilbyr selvdriftet modellinfrastruktur uten skyavhengigheter.

AI-forskningsverktøy

Ollama brukes bredt av forskere for lokal eksperimentering med modeller med åpen kildekode, noe som muliggjør rask testing, sammenligning og evaluering av ulike LLM-er uten API-kostnader eller bekymringer for dataprivacy. Dens støtte for tilpassede modellkonfigurasjoner gjør den nyttig for forskningsarbeidsflyter og prototyping.

LLM-API-er

Ollama eksponerer et lokalt REST-API som er kompatibelt med OpenAI chat completions-formatet, noe som gjør det mulig for utviklere å samhandle med modeller som kjører lokalt ved hjelp av samme API-mønstre som brukes med sky-LLM-leverandører. Dette gjør det til et gratis, privat alternativ til skybaserte LLM-API-er for utvikling og testing.

Åpen kildekode-LLM-er

Ollama er det mest populære verktøyet for å kjøre LLM-er med åpen kildekode lokalt, og gir enkel tilgang til modeller som LLaMA, Mistral, Gemma, DeepSeek og dusinvis av andre. Den håndterer nedlasting av modeller, kvantisering og maskinvareoptimalisering, noe som gjør språkmodeller med åpen kildekode tilgjengelig for alle med en personlig datamaskin.