Databricks is a unified data analytics and artificial intelligence platform built around the lakehouse architecture, which combines the capabilities of data lakes and data warehouses into a single platform for data engineering, data science, machine learning, and business analytics. Founded in 2013 by the original creators of Apache Spark at UC Berkeley, including Ali Ghodsi, Matei Zaharia, and five other co-founders, Databricks is headquartered in San Francisco, California. The platform is built on and extends Apache Spark, providing a managed cloud environment for processing massive datasets and building AI applications. Databricks offers several integrated components. The Unity Catalog provides unified data governance across all data and AI assets. Delta Lake, an open-source storage layer, provides ACID transactions, schema enforcement, and time travel for data lakes. MLflow, another Databricks-originated open-source project, provides experiment tracking, model registry, model serving, and ML lifecycle management. Databricks SQL enables SQL analytics and dashboarding directly on lakehouse data. The platform includes Mosaic AI, its suite of AI and machine learning tools that encompasses model training, fine-tuning, serving, and monitoring. Mosaic AI Agent Framework supports building compound AI systems and retrieval-augmented generation applications. Databricks also offers Foundation Model APIs for accessing popular large language models and Vector Search for similarity search on embeddings. The platform runs on all major cloud providers including AWS, Azure, and Google Cloud, with customers deploying within their own cloud accounts for data security and compliance. Databricks pricing follows a consumption-based model using Databricks Units (DBUs), with rates varying by workload type and compute tier. The platform serves organizations of all sizes, from startups to the largest enterprises in the world, across industries including financial services, healthcare, retail, media, and technology.

เครื่องมือวิเคราะห์ข้อมูลด้วย AI

Databricks SQL มอบความสามารถในการจัดการปัญญาและการวิเคราะห์โดยตรงบนข้อมูล lakehouse โดยมีฟีเจอร์ที่เพิ่มเติม AI สำหรับการสร้างข้อมูลเชิงลึกอัตโนมัติและการค้นหาด้วยภาษาธรรมชาติ แพลตฟอร์มนี้ช่วยให้องค์กรสามารถเรียกใช้เวิร์กโฟลว์การวิเคราะห์ควบคู่ไปกับเวิร์กโฟลว์วิศวกรรมข้อมูลและ ML โดยไม่ต้องย้ายข้อมูลระหว่างระบบ

การวิเคราะห์ข้อมูลด้วย AI

Databricks มอบแพลตฟอร์มแบบรวมศูนย์สำหรับการวิเคราะห์ข้อมูลที่ขับเคลื่อนด้วย AI ในระดับที่ใหญ่ โดยรวมวิศวกรรมข้อมูลและการวิเคราะห์บน lakehouse architecture แพลตฟอร์มสนับสนุนการวิเคราะห์ SQL การสำรวจโดยใช้ notebook ที่มี Python และ R และการวิเคราะห์ข้อมูลที่ช่วยเหลือด้วย AI ผ่านอินเทอร์เฟซภาษาธรรมชาติ ซึ่งช่วยให้องค์กรสามารถหาข้อมูลเชิงลึกจากชุดข้อมูลขนาดเพตาไบต์ได้

เครื่องมือ MLOps ด้วย AI

Databricks รวมเอา MLflow ซึ่งเป็นกรอบงาน MLOps แบบโอเพนซอร์สที่ยอดนิยม สำหรับการติดตามการทดลอง การกำหนดเวอร์ชันโมเดล รีจิสตรีโมเดล และการให้บริการการผลิต แพลตฟอร์มมอบการจัดการวงจรชีวิต ML แบบครบวงจรตั้งแต่การเตรียมข้อมูลจนถึงการปรับใช้และการตรวจสอบโมเดล พร้อมการควบคุมแบบรวมศูนย์ทั่วทรัพยากร ML ทั้งหมดผ่าน Unity Catalog

การโฮสต์โมเดล AI

Databricks นำเสนอการให้บริการโมเดลผ่าน Mosaic AI โดยให้จุดปลายทางที่มีการจัดการสำหรับการปรับใช้โมเดลแมชชีนเลิร์นนิงและโมเดลฐานรากในสภาพแวดล้อมการผลิต แพลตฟอร์มสนับสนุนการอนุมานแบบเรียลไทม์และแบบแบตช์ การปรับขนาดอัตโนมัติ การทดสอบ A/B และการตรวจสอบโมเดล พร้อมกับ APIs โมเดลฐานราก สำหรับการเข้าถึง LLMs ยอดนิยมภายในสภาพแวดล้อม Databricks

เครื่องมือวิจัยด้วย AI

Databricks สนับสนุนการวิจัยด้าน AI ผ่านโน้ตบุ๊ก การทำงานร่วมกัน การคำนวณแบบกระจาย สำหรับการทดลองขนาดใหญ่ และ MLflow สำหรับการติดตามการทดลองและความสามารถในการทำซ้ำ แผนกวิจัย Mosaic AI มีส่วนร่วมในการพัฒนา LLM แบบโอเพนซอร์ส รวมถึงโมเดล DBRX และแพลตฟอร์มนี้ใช้งานโดยทีมวิจัยทั่วศาสตร์วิทยาลัยและอุตสาหกรรม

แพลตฟอร์มฝึกฝน AI

Databricks มอบโครงสร้างพื้นฐานการคำนวณแบบกระจายสำหรับการฝึกอบรมโมเดลแมชชีนเลิร์นนิงในระดับที่ใหญ่โดยใช้ Apache Spark และคลัสเตอร์ GPU ชุด Mosaic AI สนับสนุนการฝึกอบรมโมเดลขนาดใหญ่ การปรับแต่งโมเดลฐานราก และเวิร์กโฟลว์การเรียนรู้ลึกแบบกระจายทั่วผู้ให้บริการคลาวด์หลักทั้งหมดด้วยทรัพยากรการคำนวณที่ปรับขนาดอัตโนมัติ