Lakera ist ein KI-Sicherheitsunternehmen, das sich auf die Sicherung von Large Language Model-Anwendungen vor Prompt-Injection-Angriffen, Jailbreaking-Versuchen, Datenlecks und anderen LLM-spezifischen Sicherheitsbedrohungen spezialisiert. Gegründet 2021 von David Haber, Matthias Kraft und Severin Elvatun mit Sitz in Zürich, Schweiz, konzentriert sich Lakera speziell auf die Sicherheitsherausforderungen, die einzigartig für generative KI-Anwendungen sind. Das Flaggschiff-Produkt des Unternehmens, Lakera Guard, bietet eine Echtzeit-API, die zwischen Benutzereingaben und LLM-Anwendungen sitzt, um bösartige Prompts zu erkennen und zu blockieren, bevor sie das Modell erreichen. Lakera Guard analysiert eingehende Prompts auf verschiedene Angriffsmuster, einschließlich direkter und indirekter Prompt-Injection, Jailbreak-Versuche, schädliche Content-Anforderungen und Versuche, sensible Informationen oder System-Prompts aus dem Modell zu extrahieren. Das System nutzt proprietäre Machine-Learning-Modelle, die auf einem kontinuierlich aktualisierten Datensatz von Angriffstechniken trainiert wurden, einschließlich Daten von Gandalf, Lakeras öffentlichem Prompt-Injection-Spiel, das Millionen adversarialer Prompt-Beispiele von Benutzern weltweit gesammelt hat. Lakera Guard überwacht auch LLM-Ausgaben auf sensible Datenlecks, toxische Inhalte und Off-Topic-Antworten und bietet eine umfassende Input-Output-Sicherheitsschicht. Die API ist für niedrige Latenzintegration konzipiert und fügt minimalen Overhead zu LLM-Anwendungsantwortzeiten hinzu. Lakera bietet Integrationen mit großen LLM-Providern und Frameworks und kann als Cloud-API oder lokal für Organisationen mit strengen Anforderungen an die Datenresidenz bereitgestellt werden. Die Plattform enthält ein Dashboard zur Überwachung von Sicherheitsereignissen, Analyse von Angriffsmustern und Konfiguration von Detection-Richtlinien. Lakera bietet einen kostenlosen Tier für Entwickler mit begrenzten API-Aufrufen, einen kostenpflichtigen Tier für produktive Anwendungen und benutzerdefinierte Enterprise-Preisgestaltung für Organisationen, die höhere Volumen, dedizierten Support und lokal installierte Bereitstellung benötigen.

KI-Content-Moderation

Lakera Guard überwacht sowohl Eingaben als auch Ausgaben von LLM-Anwendungen und erkennt sowie filtert toxische Inhalte, schädliche Anfragen und richtlinienwidrige Antworten. Diese Input-Output-Moderationsebene hilft Organisationen, Content-Safety-Standards in ihren KI-Anwendungen einzuhalten, und verhindert sowohl absichtlichen Missbrauch als auch unbeabsichtigte schädliche Ausgaben.

KI-Cybersicherheit

Lakera bietet KI-spezifische Cybersecurity durch Lakera Guard, das LLM-Anwendungen vor Prompt-Injection-Angriffen, Jailbreaking und Datenextraktionsversuchen schützt. Die Echtzeit-API inspiziert Prompts, bevor sie das Modell erreichen, und überwacht Ausgaben auf Lecks sensibler Daten und bietet eine Sicherheitsebene, die speziell für die einzigartige Bedrohungslandschaft von generativen KI-Anwendungen entwickelt wurde.

KI-Sicherheits-Tools

Lakera trägt zur KI-Sicherheit bei, indem es Missbrauch von LLM-Anwendungen durch Echtzeit-Erkennung schädlicher Prompts, Jailbreak-Versuche und richtlinienwidriger Eingaben verhindert. Die proprietären Modelle, trainiert auf Millionen von adversarialen Beispielen aus seinem Gandalf-Prompt-Injection-Spiel, helfen Organisationen sicherzustellen, dass ihre KI-Anwendungen nicht zu schädlichen Ausgaben manipuliert werden können.

KI-Testing-Tools

Lakera hilft Organisationen, ihre LLM-Anwendungen durch adversariale Test-Methodologien auf Sicherheitslücken zu testen, informiert durch Millionen von realen Angriffsbeispielen. Die Plattform ermöglicht Sicherheitsteams, zu evaluieren, wie ihre KI-Anwendungen auf Prompt-Injection, Jailbreaking und andere Angriffsvektoren vor der Bereitstellung reagieren.