Databricks es una plataforma unificada de análisis de datos e inteligencia artificial construida alrededor de la arquitectura de lakehouse, que combina las capacidades de lagos de datos y almacenes de datos en una única plataforma para ingeniería de datos, ciencia de datos, aprendizaje automático y análisis empresarial. Fundada en 2013 por los creadores originales de Apache Spark en UC Berkeley, incluyendo Ali Ghodsi, Matei Zaharia y cinco cofundadores más, Databricks tiene su sede en San Francisco, California. La plataforma se construye sobre y extiende Apache Spark, proporcionando un entorno en la nube administrado para procesar conjuntos de datos masivos y construir aplicaciones de IA. Databricks ofrece varios componentes integrados. El Unity Catalog proporciona gobernanza de datos unificada en todos los datos y activos de IA. Delta Lake, una capa de almacenamiento de código abierto, proporciona transacciones ACID, aplicación de esquema y viaje en el tiempo para lagos de datos. MLflow, otro proyecto de código abierto originado por Databricks, proporciona seguimiento de experimentos, registro de modelo, servicio de modelo y gestión del ciclo de vida de ML. Databricks SQL habilita análisis SQL y paneles directamente en datos de lakehouse. La plataforma incluye Mosaic AI, su conjunto de herramientas de IA y aprendizaje automático que abarca entrenamiento de modelo, ajuste fino, servicio y monitoreo. Mosaic AI Agent Framework admite la construcción de sistemas de IA compuesta y aplicaciones de generación aumentada por recuperación. Databricks también ofrece Foundation Model APIs para acceder a modelos de lenguaje grandes populares y Vector Search para búsqueda de similitud en embeddings. La plataforma se ejecuta en todos los proveedores de nube principales incluyendo AWS, Azure y Google Cloud, con clientes implementando dentro de sus propias cuentas en la nube para seguridad de datos y cumplimiento. Los precios de Databricks siguen un modelo basado en consumo utilizando Databricks Units (DBUs), con tasas que varían según el tipo de carga de trabajo y nivel de computación. La plataforma sirve a organizaciones de todos los tamaños, desde startups hasta las empresas más grandes del mundo, en industrias incluyendo servicios financieros, atención médica, retail, medios y tecnología.

Herramientas de analítica con IA

Databricks SQL proporciona capacidades de inteligencia empresarial y análisis directamente en datos de lakehouse, con características mejoradas por IA para generación automatizada de información y consultas en lenguaje natural. La plataforma permite a las organizaciones ejecutar cargas de trabajo de análisis junto con sus flujos de trabajo de ingeniería de datos y ML sin mover datos entre sistemas.

Análisis de datos con IA

Databricks proporciona una plataforma unificada para análisis de datos impulsado por IA a escala, combinando ingeniería de datos y análisis en una arquitectura de lakehouse. La plataforma admite análisis SQL, exploración basada en notebooks con Python y R, y análisis de datos asistido por IA a través de interfaces en lenguaje natural, permitiendo a las organizaciones extraer información de conjuntos de datos a escala de petabytes.

Herramientas de MLOps con IA

Databricks integra MLflow, el marco MLOps de código abierto ampliamente adoptado, para seguimiento de experimentos, versionado de modelos, registro de modelos, y servicio en producción. La plataforma proporciona gestión del ciclo de vida de ML de extremo a extremo desde preparación de datos hasta despliegue y monitoreo de modelos, con gobernanza unificada en todos los activos de ML a través de Unity Catalog.

Alojamiento de Modelos de IA

Databricks ofrece servicio de modelos a través de Mosaic AI, proporcionando endpoints gestionados para desplegar modelos de aprendizaje automático y modelos de fundación en producción. La plataforma admite inferencia en tiempo real y por lotes, escalado automático, pruebas A/B, y monitoreo de modelos, junto con APIs de Modelo de Fundación para acceder a LLMs populares dentro del entorno Databricks.

Herramientas de investigación con IA

Databricks admite investigación de IA a través de notebooks colaborativos, computación distribuida para experimentos a gran escala, y MLflow para seguimiento de experimentos y reproducibilidad. Su división de investigación Mosaic AI contribuye al desarrollo de LLM de código abierto incluyendo el modelo DBRX, y la plataforma es utilizada por equipos de investigación en academia e industria.

Plataformas de Entrenamiento de IA

Databricks proporciona infraestructura de computación distribuida para entrenar modelos de aprendizaje automático a escala utilizando Apache Spark y clusters con GPU. El conjunto de Mosaic AI admite entrenamiento de modelos a gran escala, ajuste fino de modelos de fundación, y cargas de trabajo de aprendizaje profundo distribuido en todos los principales proveedores de nube con recursos de computación con escalado automático.