Los LLM de codigo abierto han democratizado el acceso a modelos de lenguaje capaces que pueden ejecutarse en infraestructura privada sin tarifas de API ni intercambio de datos. Llama 3 y Gemma 2 de Meta y Google han establecido nuevos puntos de referencia para la capacidad de pesos abiertos. Ollama hace que ejecutar estos modelos localmente sea tan sencillo como un solo comando, mientras que Together AI y Groq proporcionan inferencia en la nube para equipos que necesitan modelos abiertos a gran escala. Hugging Face aloja el ecosistema de modelos de codigo abierto, y vLLM proporciona el motor de servicio de alto rendimiento que impulsa muchos despliegues.
1
4.9
2
4.8
3
4.8
4
4.8
5
4.7
6
4.7
7
4.6
8
4.5
9
4.5
10
4.4
11
4.3
12
4.0