Ollama è uno strumento open-source che consente agli utenti di eseguire grandi modelli linguistici localmente sui propri computer senza richiedere connettività cloud, chiavi API o servizi esterni. Lanciato nel 2023, Ollama semplifica il processo di download, configurazione ed esecuzione degli LLM raggruppando i pesi del modello, le configurazioni e le dipendenze runtime in un unico sistema gestibile. Supporta macOS, Windows e Linux, con un'interfaccia a riga di comando semplice in cui gli utenti possono iniziare con un singolo comando come "ollama run llama3" per scaricare e interagire con un modello. Ollama fornisce l'accesso a una libreria in crescita di modelli open-source preconfigurati, inclusi LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen e molti altri, disponibili in varie dimensioni e livelli di quantizzazione per adattarsi a diverse capacità hardware. Gli utenti possono eseguire modelli su hardware consumer grade, inclusi Mac con Apple Silicon, PC con GPU NVIDIA e persino sistemi solo CPU, con modelli automaticamente ottimizzati per l'hardware disponibile. Un vantaggio fondamentale di Ollama è che tutta l'elaborazione avviene localmente, il che significa che nessun dato lascia la macchina dell'utente, rendendolo adatto per i casi d'uso sensibili alla privacy e gli ambienti isolati dalla rete. Ollama espone un'API REST locale compatibile con il formato delle chat completions di OpenAI, abilitando l'integrazione con strumenti e applicazioni esistenti. Questo ha portato a un ricco ecosistema di integrazioni di terze parti, incluse interfacce web, plugin IDE, applicazioni desktop e strumenti di sviluppo che utilizzano Ollama come backend di modello locale. Gli utenti possono anche creare modelli personalizzati attraverso Modelfile che definiscono modelli di base, prompt di sistema, parametri e adattatori, abilitando configurazioni personalizzate. Ollama supporta funzionalità come il caricamento simultaneo di modelli, l'accelerazione GPU e modelli multi-modali per attività di visione artificiale. Lo strumento è completamente gratuito e open-source secondo la licenza MIT.

Hosting di modelli AI

Ollama consente l'hosting locale di modelli servendo LLM attraverso un'API REST sull'hardware dell'utente. Il suo formato API compatibile con OpenAI le consente di funzionare come server di modelli locale che si integra con strumenti di sviluppo, UI web e applicazioni, fornendo infrastruttura di modelli self-hosted senza dipendenze cloud.

Strumenti di ricerca IA

Ollama è ampiamente utilizzato dai ricercatori per la sperimentazione locale con modelli open-source, consentendo test, confronti e valutazione rapidi di diversi LLM senza costi di API o preoccupazioni relative alla privacy dei dati. Il suo supporto per configurazioni di modelli personalizzate la rende utile per i flussi di lavoro di ricerca e il prototipo.

API LLM

Ollama espone un'API REST locale compatibile con il formato dei completamenti di chat OpenAI, consentendo ai sviluppatori di interagire con modelli in esecuzione locale utilizzando gli stessi schemi API utilizzati con i provider LLM cloud. Ciò la rende un'alternativa gratuita e privata alle API LLM basate su cloud per lo sviluppo e i test.

LLM open source

Ollama è lo strumento più popolare per eseguire LLM open-source localmente, fornendo facile accesso a modelli come LLaMA, Mistral, Gemma, DeepSeek e molti altri. Gestisce il download dei modelli, la quantizzazione e l'ottimizzazione hardware, rendendo i modelli di linguaggio open-source accessibili a chiunque con un computer personale.