Databricks est une plateforme unifiée d'analyse de données et d'intelligence artificielle construite autour de l'architecture lakehouse, qui combine les capacités des lacs de données et des entrepôts de données en une seule plateforme pour l'ingénierie des données, la science des données, l'apprentissage automatique et l'analyse commerciale. Fondée en 2013 par les créateurs originaux d'Apache Spark à UC Berkeley, y compris Ali Ghodsi, Matei Zaharia et cinq autres co-fondateurs, Databricks est basée à San Francisco, en Californie. La plateforme est construite sur et étend Apache Spark, fournissant un environnement cloud géré pour traiter des ensembles de données massifs et construire des applications d'IA. Databricks offre plusieurs composants intégrés. Le Unity Catalog fournit une gouvernance de données unifiée pour tous les actifs de données et d'IA. Delta Lake, une couche de stockage open-source, fournit les transactions ACID, l'application du schéma et le voyage dans le temps pour les lacs de données. MLflow, un autre projet open-source d'origine Databricks, fournit le suivi des expériences, le registre des modèles, le service des modèles et la gestion du cycle de vie ML. Databricks SQL active l'analyse SQL et les tableaux de bord directement sur les données du lakehouse. La plateforme comprend Mosaic AI, sa suite d'outils d'IA et d'apprentissage automatique qui englobe l'entraînement des modèles, l'ajustement, le service et la surveillance. Mosaic AI Agent Framework supporte la construction de systèmes d'IA composés et d'applications de génération augmentée par récupération. Databricks offre également des API Foundation Model pour accéder aux modèles de langage volumineux populaires et Vector Search pour la recherche de similarité sur les embeddings. La plateforme fonctionne sur tous les principaux fournisseurs de cloud, y compris AWS, Azure et Google Cloud, avec les clients déployant dans leurs propres comptes cloud pour la sécurité et la conformité des données. La tarification de Databricks suit un modèle basé sur la consommation utilisant les unités Databricks (DBU), avec des tarifs variant selon le type de charge de travail et le niveau de calcul. La plateforme sert les organisations de toutes tailles, des startups aux plus grandes entreprises du monde, dans les secteurs incluant les services financiers, la santé, la vente au détail, les médias et la technologie.

Outils d'analytique IA

Databricks SQL fournit des capacités d'intelligence d'affaires et d'analytique directement sur les données du lakehouse, avec des fonctionnalités améliorées par l'IA pour la génération automatisée d'insights et les requêtes en langage naturel. La plateforme permet aux organisations d'exécuter des charges de travail analytiques aux côtés de leurs workflows d'ingénierie des données et de ML sans déplacer les données entre les systèmes.

Analyse de données IA

Databricks fournit une plateforme unifiée pour l'analyse de données alimentée par l'IA à grande échelle, combinant l'ingénierie des données et l'analytique sur une architecture lakehouse. La plateforme prend en charge l'analytique SQL, l'exploration basée sur les notebooks avec Python et R, et l'analyse de données assistée par l'IA grâce à des interfaces en langage naturel, permettant aux organisations de tirer des insights à partir de datasets à l'échelle du petabyte.

Outils MLOps IA

Databricks intègre MLflow, le framework MLOps open-source largement adopté, pour le suivi des expériences, le versioning des modèles, le registre des modèles et le déploiement en production. La plateforme fournit une gestion complète du cycle de vie du ML, de la préparation des données au déploiement et à la surveillance des modèles, avec une gouvernance unifiée pour tous les actifs ML grâce à Unity Catalog.

Hébergement de modèles IA

Databricks offre le déploiement de modèles grâce à Mosaic AI, fournissant des endpoints gérés pour déployer les modèles d'apprentissage automatique et les modèles fondamentaux en production. La plateforme prend en charge l'inférence en temps réel et par lot, la mise à l'échelle automatique, les tests A/B et la surveillance des modèles, ainsi que des API de modèles fondamentaux pour accéder aux LLM populaires dans l'environnement Databricks.

Outils de recherche IA

Databricks prend en charge la recherche en IA grâce à des notebooks collaboratifs, à l'informatique distribuée pour les expériences à grande échelle, et à MLflow pour le suivi des expériences et la reproductibilité. Sa division Mosaic AI Research contribue au développement de LLM open-source y compris le modèle DBRX, et la plateforme est utilisée par des équipes de recherche dans le milieu académique et l'industrie.

Plateformes d'entraînement IA

Databricks fournit une infrastructure d'informatique distribuée pour entraîner les modèles d'apprentissage automatique à grande échelle en utilisant Apache Spark et des clusters GPU. La suite Mosaic AI prend en charge l'entraînement de modèles à grande échelle, l'ajustement fin des modèles fondamentaux, et les charges de travail d'apprentissage profond distribuées sur tous les principaux fournisseurs de cloud avec des ressources de calcul à mise à l'échelle automatique.