Lakera est une entreprise spécialisée en sécurité de l'IA qui se concentre sur la protection des applications de grands modèles de langage contre les attaques par injection d'invites, les tentatives de jailbreaking, les fuites de données et autres menaces de sécurité spécifiques aux LLM. Fondée en 2021 par David Haber, Matthias Kraft et Severin Elvatun, et basée à Zurich, en Suisse, Lakera se concentre spécifiquement sur les défis de sécurité uniques aux applications d'IA générative. Le produit phare de l'entreprise, Lakera Guard, fournit une API en temps réel qui se place entre les entrées des utilisateurs et les applications LLM pour détecter et bloquer les invites malveillantes avant qu'elles n'atteignent le modèle. Lakera Guard analyse les invites entrantes pour détecter divers modèles d'attaque, notamment l'injection d'invites directes et indirectes, les tentatives de jailbreak, les demandes de contenu nuisible et les tentatives d'extraction d'informations sensibles ou d'invites système du modèle. Le système utilise des modèles d'apprentissage automatique propriétaires entraînés sur un ensemble de données continuellement mis à jour de techniques d'attaque, y compris les données de Gandalf, le jeu public d'injection d'invites de Lakera qui a collecté des millions d'exemples d'invites adversariales auprès d'utilisateurs du monde entier. Lakera Guard surveille également les résultats des LLM pour les fuites de données sensibles, le contenu toxique et les réponses hors sujet, fournissant une couche de sécurité complète des entrées-sorties. L'API est conçue pour une intégration à faible latence, ajoutant un surcoût minimal aux temps de réponse des applications LLM. Lakera fournit des intégrations avec les principaux fournisseurs et cadres de LLM, et peut être déployée en tant qu'API cloud ou sur site pour les organisations ayant des exigences strictes en matière de résidence des données. La plateforme inclut un tableau de bord pour surveiller les événements de sécurité, analyser les modèles d'attaque et configurer les politiques de détection. Lakera propose un niveau gratuit pour les développeurs avec des appels API limités, un niveau payant pour les applications en production et une tarification personnalisée pour les entreprises nécessitant des volumes plus élevés, un support dédié et un déploiement sur site.

Modération de contenu IA

Lakera Guard surveille à la fois les entrées et les sorties des applications LLM, détectant et filtrant les contenus toxiques, les demandes nuisibles et les réponses violant les politiques. Cette couche de modération entrée-sortie aide les organisations à maintenir les normes de sécurité du contenu dans leurs applications d'IA, prévenant à la fois l'utilisation abusive intentionnelle et les résultats nuisibles involontaires.

Cybersécurité IA

Lakera fournit une cybersécurité spécifique à l'IA par le biais de Lakera Guard, qui protège les applications LLM contre les attaques par injection d'invites, les contournements de sécurité et les tentatives d'extraction de données. Son API en temps réel inspecte les invites avant qu'elles n'atteignent le modèle et surveille les résultats pour détecter les fuites de données sensibles, fournissant une couche de sécurité conçue spécifiquement pour le paysage de menaces unique des applications d'IA générative.

Outils de sécurité IA

Lakera contribue à la sécurité de l'IA en prévenant l'utilisation abusive des applications LLM par le biais de la détection en temps réel des invites nuisibles, des tentatives de contournement de sécurité et des entrées violant les politiques. Ses modèles propriétaires, entraînés sur des millions d'exemples contradictoires issus de son jeu d'injection d'invites Gandalf, aident les organisations à s'assurer que leurs applications d'IA ne peuvent pas être manipulées pour produire des résultats nuisibles.

Outils de test IA

Lakera aide les organisations à tester leurs applications LLM pour les vulnérabilités de sécurité par le biais de méthodologies de test contradictoire informées par des millions d'exemples d'attaques du monde réel. Sa plateforme permet aux équipes de sécurité d'évaluer comment leurs applications d'IA réagissent aux injections d'invites, aux contournements de sécurité et à d'autres vecteurs d'attaque avant le déploiement.