Ollama es una herramienta de código abierto que permite a los usuarios ejecutar modelos de lenguaje grandes localmente en sus propias computadoras sin requerir conectividad en la nube, claves API o servicios externos. Lanzado en 2023, Ollama simplifica el proceso de descargar, configurar y ejecutar LLMs al empaquetar pesos de modelos, configuraciones y dependencias de tiempo de ejecución en un sistema único y manejable. Admite macOS, Windows y Linux, con una interfaz de línea de comandos directa donde los usuarios pueden comenzar con un solo comando como 'ollama run llama3' para descargar e interactuar con un modelo. Ollama proporciona acceso a una biblioteca en crecimiento de modelos de código abierto preconfigurados, incluyendo LLaMA, Mistral, Mixtral, Gemma, Phi, CodeLlama, DeepSeek, Qwen y muchos otros, disponibles en varios tamaños y niveles de cuantización para coincidir con diferentes capacidades de hardware. Los usuarios pueden ejecutar modelos en hardware de nivel de consumidor, incluyendo Macs con Apple Silicon, PCs con GPUs NVIDIA e incluso sistemas solo CPU, con modelos automáticamente optimizados para el hardware disponible. Una ventaja clave de Ollama es que todo el procesamiento ocurre localmente, lo que significa que ningún dato sale de la máquina del usuario, haciéndolo adecuado para casos de uso sensibles a la privacidad y entornos aislados. Ollama expone una API REST local compatible con el formato de finalizaciones de chat de OpenAI, permitiendo la integración con herramientas y aplicaciones existentes. Esto ha llevado a un rico ecosistema de integraciones de terceros, incluyendo interfaces web, complementos IDE, aplicaciones de escritorio y herramientas de desarrollo que utilizan Ollama como un backend de modelo local. Los usuarios también pueden crear modelos personalizados a través de Modelfiles que definen modelos base, prompts de sistema, parámetros y adaptadores, permitiendo configuraciones personalizadas. Ollama admite características como carga de modelos concurrentes, aceleración GPU y modelos multimodales para tareas de visión. La herramienta es completamente gratuita y de código abierto bajo la licencia MIT.

Alojamiento de Modelos de IA

Ollama permite el alojamiento local de modelos sirviendo LLMs a través de una API REST en el hardware del usuario. Su formato de API compatible con OpenAI permite que funcione como un servidor de modelos local que se integra con herramientas de desarrollo, interfaces web y aplicaciones, proporcionando infraestructura de modelos autohospedados sin dependencias en la nube.

Herramientas de investigación con IA

Ollama es ampliamente utilizada por investigadores para experimentación local con modelos de código abierto, permitiendo pruebas rápidas, comparación y evaluación de diferentes LLMs sin costos de API o preocupaciones de privacidad de datos. Su soporte para configuraciones de modelos personalizadas la hace útil para flujos de trabajo de investigación y prototipado.

APIs de LLM

Ollama expone una API REST local compatible con el formato de chat completions de OpenAI, permitiendo a los desarrolladores interactuar con modelos que se ejecutan localmente usando los mismos patrones de API utilizados con proveedores de LLM en la nube. Esto la convierte en una alternativa gratuita y privada a las API LLM basadas en la nube para desarrollo y pruebas.

LLM de Codigo Abierto

Ollama es la herramienta más popular para ejecutar LLMs de código abierto localmente, proporcionando acceso fácil a modelos como LLaMA, Mistral, Gemma, DeepSeek y docenas de otros. Maneja la descarga de modelos, cuantización y optimización de hardware, haciendo que los modelos de lenguaje de código abierto sean accesibles para cualquiera con una computadora personal.