Patronus AIは、大規模言語モデル（LLM）アプリケーションの信頼性、安全性、精度を本番導入の前後に体系的に評価できるAIセーフティ評価・テストプラットフォームです。2023年にAnand Kannappan、Rebecca Qian、Neel Guhaによって設立され、カリフォルニア州サンフランシスコに本社を置く同社は、幻覚、有害コンテンツ、個人識別情報の漏洩、および生成AI特有のその他の障害モードを識別するため、LLM出力の自動評価に焦点を当てています。プラットフォームのコア機能は大規模な自動評価を中心としています。Patronus AIは、事実的精度、関連性、首尾一貫性、毒性、バイアス、カスタムポリシーへの準拠を含む複数の次元でLLM出力を評価する評価ツールスイートを提供しています。これらの評価ツールは数千のテストケースに対して自動的に実行でき、モデルの動作に関する定量的スコアと詳細なレポートを提供します。主要な製品の1つは幻覚検出システムで、LLM生成の応答が提供されたソース資料に根拠があるか、それとも作成された情報を含んでいるかを評価します。これは、金融、医療、法律などの高リスク領域でAIを導入する組織にとって重要な機能です。Patronus AIはまた、LLMアプリケーションの脆弱性、プロンプトインジェクション感受性、ジェイルブレイク、ポリシー違反などを調査するため、自動的に敵対的プロンプトを生成するレッドチーム機能も提供しています。プラットフォームはカスタム評価基準をサポートしており、組織は独自の品質とセーフティ基準を定義し、継続的にそれに対してテストすることができます。Patronus AIはそのAPIを通じて開発ワークフローに統合され、CI/CDパイプラインおよび本番監視システムの一部として評価を実行できます。プラットフォームは、モデル品質を時系列で追跡し、異なるモデルまたは構成を比較し、品質低下に関するアラートを発出するためのダッシュボードを提供します。価格設定はエンタープライズモデルに従い、評価量と必要な機能に基づくカスタム契約です。

AIバイアス検出

Patronus AIはLLM評価スイートの一部としてバイアス評価を含み、異なる人口グループにわたる人口統計的バイアス、ステレオタイプ化、不公平な扱いについてモデル出力をテストします。その自動評価フレームワークは、組織がデプロイ前にAI生成コンテンツのバイアスを特定して定量化するのを支援します。

AIコンテンツモデレーション

Patronus AIは毒性のあるコンテンツ、ポリシー違反、不適切な応答についてLLMの出力を評価し、大規模な自動コンテンツ安全性評価を提供します。組織はその評価ツールを使用して、AIアプリケーションがコンテンツポリシーとコミュニティガイドラインに準拠した出力を生成することを確認します。

AI MLOpsツール

Patronus AIは、APIとCI/CDパイプラインサポートを通じてMLOpsワークフローに統合し、ライフサイクル全体を通じてLLMアプリケーションの継続的な評価を可能にします。そのモニタリングダッシュボードは時間の経過とともにモデルの品質を追跡し、設定を比較し、品質低下についてアラートを発し、本番LLMオペレーションのために必要な観測可能性レイヤーを提供します。

AI安全性ツール

Patronus AIはAI安全性評価を専門とし、LLMアプリケーションのハルシネーション、毒性のある出力、PII漏洩、その他の障害モードを特定する自動テストを提供します。そのレッドチーム機能は自動的に敵対的プロンプトを生成して脆弱性を探り、組織のAIデプロイがユーザーに届く前に安全基準を満たすことを確保します。

AIテストツール

Patronus AIは、事実の正確性、関連性、一貫性、毒性、カスタム基準にわたってLLMアプリケーションの出力を評価する包括的な自動テストを提供します。その評価フレームワークは数千のテストケースにスケールし、CI/CDパイプラインに統合し、生成AIシステムの体系的な品質保証を可能にする定量的スコアリングを提供します。