Databricks 曾因经营封闭的湖屋而受到批评，随着 Delta Lake 2.0 的推出，它正在开源 Delta Lake 背后的大部分技术，包括其 API。这是该公司今天在旧金山举行的数据+人工智能峰会上发布的众多公告之一。

Databricks已将自己确立为数据湖库的领导者，这是一种新兴的数据概念，旨在将数据仓库的受控治理与数据湖的灵活性和可扩展性结合起来。包括AWS、Google Cloud和Snowflake在内的几家云供应商已经通过自己的解决方案接受了湖屋概念。

虽然 Databricks 凭借其名为 Delta Lake 的 Lakehouse 平台获得了关注，但该公司因不采用开放标准而受到业内人士的批评。具体来说，Dremio等供应商引用了 Delta Lake 表格式的封闭性质，与 Apache Iceberg 等开放格式相比，其技术专家喜欢将其作为开放数据生态系统的一部分。

但是随着今天 Delta Lake 2.0 的发布，Databricks 通过开源所有 API 正朝着开放标准迈进。Delta Lake 2.0 的文档目前作为候选版本提供，预计将于今年晚些时候全面上市，将通过Linux Foundation提供。

Databricks 首席执行官兼联合创始人 Ali Ghodsi 表示，Databricks 一直在悄悄地在 jiras 中开源其许多 Delta Lake 功能。

Ghodsi 在昨天的新闻发布会上说：“实际上，在过去的几个月里，我们已经秘密地开源了其中的大部分，而且还会有更多。” “所以我们实际上是在开源所有这些，我们将继续这样做。所以不再有专有的 Delta 功能。”

公司官员说，客户可以使用 Iceberg 的表格格式在 Delta Lake 中启用分析和机器学习工作负载。但是 Databricks 的人显然更喜欢他们自己的表格格式，它的一些客户也喜欢，包括Akamai，这是一个大型内容交付网络，它隐藏了托管大量 Web 以获得更快的响应时间。

“Databricks 为 Akamai 提供了一种开放的表存储格式，并且经过实战考验，适用于像我们这样的要求苛刻的工作负载，”Akamai 工程副总裁 Aryeh Sivan 在一份新闻稿中表示。“我们对 Databricks 以及快速发展的社区为 Delta Lake 带来的快速创新感到非常兴奋。我们也期待与该项目的其他开发人员合作，将数据社区推向更高的高度。”

Linux 基金会执行董事 Jim Zemlin 表示，Delta Lake 项目正在看到沃尔玛、优步和 CloudBees 等公司的强劲增长和贡献。“贡献者的力量在去年增加了 60%，总提交量增长了 95%，每次提交的平均代码行数增加了 900%，”Zemlin 在新闻稿中说。

虽然开放标准有明显的好处，但 Databricks 并没有放弃其专有的开发实践。事实上，该公司认为其专有开发努力是一个很大的优势，尤其是在开发企业软件时。

“开发软件并确保它具有高质量实际上是相当复杂的，而且在开源中这样做实际上是相当昂贵的，与社区合作处理所有这些事情，”Ghodsi 说。“我们发现我们可以更快地行动，构建专有版本，然后在经过实战测试后将其开源，就像我们对 Delta 所做的那样。我们发现……更有效。这样我们可以更快地行动。在我们开源之前，我们可以与客户快速迭代并使其达到成熟状态。”

Databricks 保持战略产品闭源。例如，它目前没有计划开源 Photon，Databricks 声称它是 Apache Spark 的快速 C++ 层，是其在 SQL 分析工作负载中的巨大性能优势背后的“秘密武器”。该公司本周推出了新的基准测试，显示 Delta Lake 与 Snowflake 相比具有相当大的性能优势（尽管我们尚未看到实际的基准测试文件）。

Lakehouse 是分析和 AI 的场所（来源：Databricks）

“对我们来说，整个商业模式是保持开源并继续致力于下一个创新，”Ghodsi 说。“随着时间的推移，我们将越来越多地开源。”

Databricks 在 Data + AI 峰会上发布了许多其他公告，包括：

• MLflow 2.0，它引入了一个名为 MLflow Pipelines 的新功能；
• Project Lightspeed，下一代 Spark 结构化流引擎；
• Spark Connect，几乎可以在任何设备上使用 Spark；
• Photon 的普遍可用性；
• AWS 上的 Databricks SQL Serverless 预览；
• Go、Node.js 和 Python 的开源连接器；
• Databricks SQL CLI，使开发人员和分析师能够直接从他们的本地计算机运行查询；
• 支持 Lakehouse 中的查询联合；
• Delta Live Tables ETL 产品中的管道优化器；
• AWS 和 Azure 上的 Unity 目录等待 GA；
• Databricks 市场揭幕；
• 用于安全共享数据的数据“洁净室”。