Open source-LLM's hebben de toegang gedemocratiseerd tot capabele taalmodellen die op private infrastructuur kunnen draaien zonder API-kosten of het delen van data. Llama 3 en Gemma 2 van Meta en Google hebben nieuwe benchmarks gezet voor open-weight-capaciteit. Ollama maakt het lokaal draaien van deze modellen zo eenvoudig als een enkel commando, terwijl Together AI en Groq cloudinferentie bieden voor teams die open modellen op schaal nodig hebben. Hugging Face host het open source-modelecosysteem, en vLLM levert de high-throughput-serveerengine die veel implementaties aandrijft.
1
4.9
2
4.8
3
4.8
4
4.8
5
4.7
6
4.7
7
4.6
8
4.5
9
4.5
10
4.4
11
4.3
12
4.0