Groq è un'azienda di infrastrutture di intelligenza artificiale che fornisce inferenza ultra-veloce per grandi modelli linguistici attraverso il suo hardware Language Processing Unit (LPU) progettato su misura e l'API cloud. Fondata nel 2016 da Jonathan Ross, che in precedenza ha guidato lo sviluppo della Tensor Processing Unit (TPU) di Google, Groq ha costruito chip semiconduttori appositamente progettati e ottimizzati per la natura sequenziale dell'inferenza del modello linguistico, ottenendo latenza drammaticamente inferiore e throughput superiore rispetto all'inferenza tradizionale basata su GPU. L'architettura Groq LPU utilizza un modello di calcolo deterministico che elimina il collo di bottiglia della larghezza di banda della memoria tipico nell'inferenza LLM basata su GPU, abilitando velocità di generazione di token spesso diverse volte più veloci rispetto ai provider concorrenti. L'API GroqCloud fornisce agli sviluppatori l'accesso a modelli linguistici open-source popolari, inclusi LLaMA, Mistral, Mixtral e Gemma a velocità straordinariamente rapide. L'API segue il formato compatibile con OpenAI, supportando chat completions, function calling, JSON mode e streaming, rendendola una sostituzione diretta per gli sviluppatori che desiderano migliorare la velocità di inferenza. Groq è particolarmente adatta per applicazioni in cui la latenza della risposta è importante, come l'IA conversazionale in tempo reale, gli assistenti di codifica interattivi, le interfacce di IA basate su voce e qualsiasi applicazione in cui gli utenti beneficiano di risposte quasi istantanee. Oltre alla sua API cloud, Groq offre distribuzioni GroqRack on-premises per le aziende che richiedono infrastrutture dedicate. L'azienda fornisce anche GroqCloud per distribuzioni gestite con opzioni per capacità dedicata. I prezzi dell'API GroqCloud seguono un modello pay-per-token con tariffe competitive che variano a seconda del modello e includono un piano gratuito con limiti di velocità per gli sviluppatori per testare e prototipare. Groq ha attirato un'attenzione significativa nella comunità degli sviluppatori di IA per aver dimostrato che l'hardware appositamente costruito può accelerare drammaticamente l'inferenza LLM.

GPU cloud per l'AI

Groq gestisce infrastruttura cloud basata sui suoi chip LPU (Language Processing Unit) proprietari, progettati specificamente per l'inferenza LLM. Sebbene non utilizzi GPU tradizionali, Groq fornisce servizi di cloud compute per l'IA con accesso API condiviso e distribuzioni GroqRack dedicate per le organizzazioni che richiedono capacità garantita.

Hosting di modelli AI

Groq ospita e serve modelli di IA open-source sul suo hardware LPU personalizzato, fornendo infrastruttura di inferenza gestita che offre velocità leader nel settore. Le organizzazioni possono accedere ai modelli attraverso l'API condivisa o distribuire sistemi GroqRack dedicati per il servizio di modelli privati e ad alto throughput.

API LLM

Groq fornisce una delle API di inferenza LLM più veloci disponibili, servendo modelli open-source popolari a velocità diverse volte superiori alle alternative basate su GPU. La sua API compatibile con OpenAI supporta completamenti di chat, function calling e streaming, rendendola ideale per applicazioni sensibili alla latenza.

LLM open source

Groq serve modelli di linguaggio open-source popolari tra cui LLaMA, Mistral, Mixtral e Gemma attraverso la sua piattaforma di inferenza ultra-veloce. Il suo hardware LPU consente a questi modelli open-source di eseguire a velocità drasticamente superiori rispetto all'infrastruttura GPU tradizionale, rendendoli più pratici per applicazioni in tempo reale.