Databricks 声称 Lakehouse 具有 30 倍的优势,但它是否有效?
Databricks 首席执行官 Ali Ghodsi 上周大胆宣称:在 Lakehouse 设置中运行 SQL 查询时,客户可以获得比 Snowflake 高 30 倍的性价比优势。然而,雪花对这一声明挥手致意,声称比较完全是湿的。
Databricks的声明基于未发布的 TPC-DS 基准测试,该基准测试运行在自己的数据分析产品以及竞争对手的数据分析产品上。Ghodsi 在上周的新闻发布会上首次公开分享了结果,然后在上周在旧金山举行的 Data + AI 峰会上的主题演讲中详细介绍了结果。
Databricks 表示,结果显示了使用外部 Parquet 表在不同的云数据仓库和 Lakehouse 上运行 TPC-DS 3TB 基准的相对成本。
Databricks 提供的信息显示,在“SQL L w/table stats”上运行的工作成本为 8 美元,该公司表示,这是指使用 table stats 提供的“大型仓库”产品。这意味着 Databricks “运行分析表语句以允许查询优化器找到更有效的查询计划,”Databricks 的营销副总裁 Joel Minnick通过电子邮件告诉Datanami 。如果没有查询优化器提供的表统计信息,这项工作的成本会上升到 18.67 美元。

Databricks 表示,它运行的 Lakehouse 基准测试显示出比竞争对手更大的性价比优势(图片来源:Databricks)
当在其他云数据仓库上运行相同的作业时,成本增加到 63.95 美元、74.77 美元、270 美元和 243.19 美元。前三个“CDW”大概是指三个公有云供应商——AWS 、谷歌云和微软 Azure(我们不知道哪个是哪个)。然而,CDW 4 的图形带有Snowflake的标志。
需要注意的是,Databricks 运行查询就像其他云产品是湖边小屋一样。这意味着分析的数据包含在存储在云对象系统上的 Parquet 表中。从存储在对象存储中的 Parquet 文件中查询数据基本上消除了云数据仓库通过将数据加载到列式分析数据库使用的独特格式(云数据仓库的核心)可以获得的优势。
Databricks 运行测试有几个原因。首先,它这样做是为了展示它在 Delta Lake 中所做的工作,它融合了数据仓库和数据湖的元素,以及它的 Photon 引擎,Spark SQL 的 C++ 重写,它也在展会上普遍可用。其次,Databricks 对其竞争对手开始称自己为 Lakehouses 感到有些恼火,该公司的领导层表示这淡化了这个词的含义。
“如果你看看所有的大型云供应商,他们都在谈论 Lakehouse,”Ghodsi 在上周的新闻发布会上说。“他们声称他们是湖边小屋。因此,我们会将您用作湖边小屋,这意味着我们不会复制这些系统内部的数据。我们将把它储存在湖上,因为那里是湖边小屋,我们将从那里访问它。”
根据 Ghodsi 的说法,Databricks 共享了来自第二个基准测试的信息,该基准测量了加载和运行 TPC-DS 10TB 测试的成本,从云数据仓库供应商的角度来看,这提供了更公平的比较。

Databricks 表示,即使按照设计使用其竞争对手的数据仓库,它仍然具有性价比优势(图片来源:Databricks)
该公司的数据显示,Databricks 加载、自动集群和查询数据的费用为 76 美元,而 Snowflake 的企业版费用为 386 美元,标准版费用为 258 美元,这对 Databricks 来说是 5.1 倍和 3.4 倍的优势。
Ghodsi 表示,其他四个云数据仓库中的基准测试所衡量的许多额外工作是将数据加载到仓库中。该基准还计算了优化表的成本。“结果证明这是一笔巨大的成本,”他说。
Ghodsi 说,湖屋可以避免其中一些成本。“使用 Lakehouse,如果您已经将数据放在湖上,则无需执行加载部分,”他说。
Snowflake 拒绝被吸引,称其专注于满足客户需求,其中包括提供更好的性价比。
“我们专注于为客户创新和创造价值,”Snowflake 产品高级副总裁 Christian Kleinerman 告诉Datanami。“我们的性价比是我们的客户将越来越多的工作负载迁移到 Snowflake 的一个关键原因,包括 Spark 工作负载。我们不断提供新的性能增强功能,以使真正的客户工作负载运行得更快。
“我们还相信将相关的经济节省转嫁给我们的客户,这将为他们带来性价比优势,”他继续说道。“我们鼓励任何对比较感兴趣的人进行自己的评估。我们将继续专注于客户成果。”
对于硬件和软件公司来说,打嘴炮是一项由来已久的传统,Databricks 现在似乎正在尽自己的一份力量与已成为其最接近竞争对手的公司一起维护这一传统。