Groq est une entreprise d'infrastructure d'IA qui fournit une inférence ultra-rapide pour les grands modèles de langage via son matériel Language Processing Unit (LPU) conçu sur mesure et son API cloud. Fondée en 2016 par Jonathan Ross, qui a auparavant dirigé le développement de la Tensor Processing Unit (TPU) de Google, Groq a construit des puces semi-conductrices conçues à cet effet et optimisées spécifiquement pour la nature séquentielle de l'inférence de modèles de langage, réalisant une latence dramatiquement inférieure et un débit plus élevé par rapport à l'inférence traditionnelle basée sur les GPU. L'architecture Groq LPU utilise un modèle de calcul déterministe qui élimine le goulot d'étranglement de la bande passante mémoire typique de l'inférence LLM basée sur les GPU, permettant des vitesses de génération de tokens souvent plusieurs fois plus rapides que les fournisseurs concurrents. L'API GroqCloud fournit aux développeurs un accès à des modèles de langage open-source populaires incluant LLaMA, Mistral, Mixtral et Gemma à des vitesses remarquablement rapides. L'API suit le format compatible OpenAI, supportant les complétions de chat, l'appel de fonction, le mode JSON et la diffusion en continu, ce qui en fait un remplacement clés en main pour les développeurs cherchant à améliorer la vitesse d'inférence. Groq est particulièrement bien adapté aux applications où la latence de réponse importe, telles que l'IA conversationnelle en temps réel, les assistants de codage interactifs, les interfaces d'IA basées sur la voix et toute application où les utilisateurs bénéficient de réponses quasi-instantanées. Au-delà de son API cloud, Groq offre des déploiements GroqRack sur site pour les entreprises nécessitant une infrastructure dédiée. L'entreprise fournit également GroqCloud pour les déploiements gérés avec options de capacité dédiée. La tarification de l'API GroqCloud suit un modèle pay-per-token avec des tarifs compétitifs qui varient selon le modèle, et inclut un niveau gratuit avec des limites de débit pour que les développeurs puissent tester et prototyper. Groq a attiré une attention significative dans la communauté des développeurs d'IA pour avoir démontré que le matériel conçu à cet effet peut considérablement accélérer l'inférence LLM.

Cloud GPU IA

Groq exploite une infrastructure cloud basée sur ses puces LPU (Language Processing Unit) propriétaires, spécialement conçues pour l'inférence LLM. Bien qu'elle n'utilise pas les GPU traditionnels, Groq fournit des services de cloud de calcul IA avec à la fois un accès API partagé et des déploiements GroqRack dédiés pour les organisations nécessitant une capacité garantie.

Hébergement de modèles IA

Groq héberge et sert des modèles d'IA open-source sur son matériel LPU personnalisé, fournissant une infrastructure d'inférence gérée qui offre une vitesse leader du secteur. Les organisations peuvent accéder aux modèles via l'API partagée ou déployer des systèmes GroqRack dédiés pour un service de modèle privé et à haut débit.

API LLM

Groq propose l'une des API d'inférence LLM les plus rapides disponibles, servant des modèles open-source populaires à des vitesses plusieurs fois plus rapides que les alternatives basées sur GPU. Son API compatible OpenAI supporte les complétions de chat, l'appel de fonction et le streaming, ce qui la rend idéale pour les applications sensibles à la latence.

LLM open source

Groq sert des modèles de langage open-source populaires incluant LLaMA, Mistral, Mixtral et Gemma via sa plateforme d'inférence ultra-rapide. Son matériel LPU permet à ces modèles open-source de s'exécuter à des vitesses considérablement plus rapides que l'infrastructure GPU traditionnelle, les rendant plus pratiques pour les applications en temps réel.