Groq is een AI-infrastructuurbedrijf dat ultrasnelle inferentie biedt voor grote taalmodellen via zijn op maat ontworpen Language Processing Unit (LPU) hardware en cloud-API. Opgericht in 2016 door Jonathan Ross, die eerder de ontwikkeling van Google's Tensor Processing Unit (TPU) leidde, heeft Groq doelopgerichte halfgeleiderschips gebouwd die zijn geoptimaliseerd voor de sequentiële aard van taalmodellinferentie, met dramatisch lagere latentie en hogere doorvoer vergeleken met traditionele op GPU gebaseerde inferentie. De Groq LPU-architectuur gebruikt een deterministisch rekenmodel dat het geheugenbandbreedteknelpunt elimineert dat typisch is bij op GPU gebaseerde LLM-inferentie, waardoor tokengeneneratiesnelheden worden bereikt die vaak meerdere malen sneller zijn dan die van concurrerende aanbieders. De GroqCloud API biedt ontwikkelaars toegang tot populaire open-source taalmodellen, waaronder LLaMA, Mistral, Mixtral en Gemma, met opmerkelijk snelle snelheden. De API volgt het OpenAI-compatibele formaat, ondersteunt chataanvullingen, functieaanroepen, JSON-modus en streaming, waardoor het een drop-in vervanging wordt voor ontwikkelaars die de inferentiesnelheid willen verbeteren. Groq is bijzonder geschikt voor toepassingen waarbij responslatentie belangrijk is, zoals realtime conversationele AI, interactieve codeerassistenten, op spraak gebaseerde AI-interfaces en elke toepassing waar gebruikers baat hebben bij bijna onmiddellijke reacties. Naast zijn cloud-API biedt Groq on-premises GroqRack-implementaties voor enterprises die speciale infrastructuur nodig hebben. Het bedrijf biedt ook GroqCloud voor beheerde implementaties met opties voor speciale capaciteit. De GroqCloud API-prijzen volgen een pay-per-token-model met concurrerende tarieven die variëren per model, en omvatten een gratis niveau met snelheidslimieten voor ontwikkelaars om te testen en prototypes te maken. Groq heeft veel aandacht gekregen in de AI-ontwikkelaarsgemeenschap voor het demonstreren dat doelopgebouwde hardware LLM-inferentie drastisch kan versnellen.

AI GPU-cloud

Groq exploiteert cloud-infrastructuur op basis van zijn propriëtaire LPU (Language Processing Unit) chips, speciaal ontworpen voor LLM-inferentie. Hoewel het geen traditionele GPU's gebruikt, biedt Groq AI compute cloud-services met zowel gedeelde API-toegang als dedicated GroqRack-deployments voor organisaties die gegarandeerde capaciteit nodig hebben.

AI Modelhosting

Groq host en serve open-source AI-modellen op zijn custom LPU-hardware, biedt managed inferentie-infrastructuur die toonaangevende snelheid levert. Organisaties kunnen modellen via de gedeelde API benaderen of dedicated GroqRack-systemen implementeren voor private, high-throughput model serving.

LLM-API's

Groq biedt een van de snelste LLM-inferentie-API's die beschikbaar zijn, met populaire open-source modellen meerdere keren sneller dan GPU-gebaseerde alternatieven. De OpenAI-compatibele API ondersteunt chat completions, function calling en streaming, wat het ideaal maakt voor latency-gevoelige applicaties.

Open source-LLM's

Groq serve populaire open-source language models inclusief LLaMA, Mistral, Mixtral en Gemma via zijn ultrasnelle inferentieplatform. De LPU-hardware maakt het mogelijk dat deze open-source modellen aanzienlijk sneller draaien dan traditionele GPU-infrastructuur, waardoor ze praktischer worden voor real-time applicaties.