Ollama é uma ferramenta de código aberto que permite aos usuários executar grandes modelos de linguagem localmente em seus próprios computadores sem exigir conectividade em nuvem, chaves de API ou serviços externos. Lançada em 2023, Ollama simplifica o processo de baixar, configurar e executar LLMs ao empacotar pesos de modelo, configurações e dependências de tempo de execução em um único sistema gerenciável. Suporta macOS, Windows e Linux, com uma interface de linha de comando simples onde os usuários podem começar com um único comando como 'ollama run llama3' para baixar e interagir com um modelo. Ollama fornece acesso a uma biblioteca crescente de modelos de código aberto pré-configurados, incluindo LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen e muitos outros, disponíveis em vários tamanhos e níveis de quantização para corresponder a diferentes capacidades de hardware. Os usuários podem executar modelos em hardware de nível consumidor, incluindo Macs com Apple Silicon, PCs com GPUs NVIDIA e até sistemas apenas com CPU, com modelos automaticamente otimizados para o hardware disponível. Uma vantagem chave do Ollama é que todo o processamento acontece localmente, significando que nenhum dado deixa a máquina do usuário, tornando-o adequado para casos de uso sensíveis à privacidade e ambientes isolados. Ollama expõe uma API REST local compatível com o formato de conclusões de chat OpenAI, permitindo integração com ferramentas e aplicações existentes. Isso levou a um rico ecossistema de integrações de terceiros, incluindo UIs da web, plugins de IDE, aplicações de desktop e ferramentas de desenvolvimento que usam Ollama como um backend de modelo local. Os usuários também podem criar modelos personalizados através de Modelfiles que definem modelos base, prompts de sistema, parâmetros e adaptadores, permitindo configurações personalizadas. Ollama suporta recursos como carregamento concorrente de modelos, aceleração de GPU e modelos multi-modais para tarefas de visão. A ferramenta é inteiramente gratuita e de código aberto sob a licença MIT.

Hospedagem de Modelos de IA

A Ollama permite hospedagem de modelos locais ao servir LLMs através de uma API REST no hardware do próprio usuário. Seu formato de API compatível com OpenAI permite que funcione como um servidor de modelo local que se integra com ferramentas de desenvolvimento, UIs web e aplicações, fornecendo infraestrutura de modelo auto-hospedada sem dependências de nuvem.

Ferramentas de Pesquisa com IA

A Ollama é amplamente utilizada por pesquisadores para experimentação local com modelos de código aberto, permitindo testes rápidos, comparação e avaliação de diferentes LLMs sem custos de API ou preocupações com privacidade de dados. Seu suporte para configurações de modelo customizadas a torna útil para fluxos de trabalho de pesquisa e prototipagem.

APIs de LLM

A Ollama expõe uma API REST local compatível com o formato de conclusões de chat do OpenAI, permitindo que desenvolvedores interajam com modelos em execução local usando os mesmos padrões de API utilizados com provedores de LLM em nuvem. Isso a torna uma alternativa gratuita e privada às APIs de LLM baseadas em nuvem para desenvolvimento e testes.

LLMs de Código Aberto

A Ollama é a ferramenta mais popular para executar LLMs de código aberto localmente, fornecendo fácil acesso a modelos como LLaMA, Mistral, Gemma, DeepSeek e dezenas de outros. Ela lida com download de modelos, quantização e otimização de hardware, tornando os modelos de linguagem de código aberto acessíveis para qualquer pessoa com um computador pessoal.