Open-Source-LLMs haben den Zugang zu leistungsstarken Sprachmodellen demokratisiert, die auf privater Infrastruktur ohne API-Gebühren oder Datenweitergabe betrieben werden können. Llama 3 und Gemma 2 von Meta und Google haben neue Maßstäbe für Open-Weight-Leistung gesetzt. Ollama macht das lokale Ausführen dieser Modelle so einfach wie einen einzigen Befehl, während Together AI und Groq Cloud-Inferenz für Teams bereitstellen, die Open Models in großem Umfang benötigen. Hugging Face hostet das Open-Source-Modell-Ökosystem, und vLLM bietet die Hochdurchsatz-Serving-Engine, die viele Bereitstellungen antreibt.
1
4.9
2
4.8
3
4.8
4
4.8
5
4.7
6
4.7
7
4.6
8
4.5
9
4.5
10
4.4
11
4.3
12
4.0