Patronus AI는 조직이 프로덕션 배포 전과 도중에 대규모 언어 모델 애플리케이션의 신뢰성, 안전성, 정확성을 체계적으로 평가하도록 돕는 AI 안전 평가 및 테스트 플랫폼입니다. 2023년 Anand Kannappan, Rebecca Qian, Neel Guha가 설립하고 캘리포니아 샌프란시스코에 본사를 둔 이 회사는 환각, 유해 콘텐츠, 개인 식별 정보 유출 및 생성형 AI 시스템 특유의 기타 실패 모드를 식별하기 위해 LLM 출력의 자동화된 평가에 중점을 둡니다. 플랫폼의 핵심 기능은 대규모 자동 평가에 집중되어 있습니다. Patronus AI는 사실 정확성, 관련성, 일관성, 유해성, 편향, 맞춤형 정책 준수를 포함한 여러 차원에 걸쳐 LLM 출력을 평가하는 평가기 모음을 제공합니다. 이러한 평가기는 수천 개의 테스트 케이스에서 자동으로 실행될 수 있어 모델 동작에 대한 정량적 점수와 상세한 보고서를 제공합니다. 핵심 제품은 환각 탐지 시스템으로, LLM이 생성한 응답이 제공된 출처 자료에 근거하는지 또는 조작된 정보를 포함하는지 평가하며, 이는 금융, 의료, 법률과 같은 고위험 영역에 AI를 배포하는 조직에 중요한 기능입니다. Patronus AI는 또한 프롬프트 주입 취약성, 탈옥, 정책 위반을 포함한 취약점을 탐색하기 위해 적대적 프롬프트를 자동으로 생성하는 레드팀 기능을 제공합니다. 이 플랫폼은 맞춤형 평가 기준을 지원하여 조직이 자체 품질 및 안전 표준을 정의하고 이에 대해 지속적으로 테스트할 수 있게 합니다. Patronus AI는 API를 통해 개발 워크플로에 통합되어 평가가 CI/CD 파이프라인과 프로덕션 모니터링 시스템의 일부로 실행될 수 있게 합니다. 이 플랫폼은 시간 경과에 따른 모델 품질 추적, 다양한 모델 또는 구성 비교, 품질 저하 알림을 위한 대시보드를 제공합니다. 가격은 필요한 평가 볼륨과 기능에 따라 맞춤형 계약을 갖는 기업 모델을 따릅니다.

AI 편향 탐지

Patronus AI는 편향 평가를 LLM 평가 스위트의 일부로 포함하며, 다양한 인구 집단 전체에서 인구통계학적 편향, 고정관념화 및 불공정한 취급에 대한 모델 출력을 테스트합니다. 자동화된 평가 프레임워크는 배포 전에 AI 생성 콘텐츠의 편향을 식별하고 정량화하는 데 도움을 줍니다.

AI 콘텐츠 검열

Patronus AI는 LLM 출력의 독성 콘텐츠, 정책 위반 및 부적절한 응답을 평가하여 대규모의 자동화된 콘텐츠 안전 평가를 제공합니다. 조직은 평가 도구를 사용하여 AI 응용 프로그램이 콘텐츠 정책 및 커뮤니티 지침을 준수하는 출력을 생성하는지 확인합니다.

AI MLOps 도구

Patronus AI는 API 및 CI/CD 파이프라인 지원을 통해 MLOps 워크플로우에 통합되어 라이프사이클 전체에서 LLM 응용 프로그램을 지속적으로 평가할 수 있게 합니다. 모니터링 대시보드는 시간 경과에 따른 모델 품질을 추적하고, 구성을 비교하며, 품질 저하에 대해 경고하여 프로덕션 LLM 운영에 필요한 관찰 가능성 계층을 제공합니다.

AI 안전 도구

Patronus AI는 AI 안전 평가를 전문으로 하며, 환각, 독성 출력, PII 유출 및 LLM 응용 프로그램의 기타 장애 모드를 식별하는 자동화된 테스트를 제공합니다. 레드 팀 기능은 취약점을 조사할 적대적 프롬프트를 자동으로 생성하여 조직이 AI 배포가 사용자에게 도달하기 전에 안전 표준을 충족하도록 보장하는 데 도움을 줍니다.

AI 테스트 도구

Patronus AI는 LLM 응용 프로그램을 위한 포괄적인 자동화 테스트를 제공하며, 사실적 정확성, 관련성, 일관성, 독성 및 사용자 정의 기준에 걸쳐 출력을 평가합니다. 평가 프레임워크는 수천 개의 테스트 케이스로 확장되고, CI/CD 파이프라인에 통합되며, 생성형 AI 시스템을 위한 체계적인 품질 보증을 가능하게 하는 정량적 채점을 제공합니다.