基于云的数据仓库公司Snowflake开发了一个开源的大型语言模型（LLM），Arctic，以取代Meta的Llama 3、Mistral的模型家族、xAI的Grok-1和Databricks的DBRX等。

　　Snowflake周三表示，Arctic旨在执行SQL生成、代码生成和后续指令等企业任务。

　　该公司表示，可以通过Snowflake的托管机器学习和人工智能服务Cortex访问，通过其数据云产品以及Hugging Face、Lamini、AWS、Azure、Nvidia、Perplexity和Together AI等模型提供商进行无服务器推理。该公司表示，企业用户可以从Hugging Face下载它，并从Snowflake的Github存储库中获取推断和微调食谱。

　　Snowflake与其他的开源LLM架构

　　从根本上说，Snowflake与大多数其他开源LLM非常相似，这些LLM也使用混合专家（MoE）架构，这包括DBRX.Grok-1和Mixtral等。

　　MoE架构从在不同数据集上训练的较小模型构建人工智能模型，后来将这些较小的模型组合成一个模型，擅长解决不同类型的问题。Arctic LLM是128个小型模型的组合。

　　市场上的开源模型中的一个例外是Meta的Llama 3，它有一个变压器模型架构——这是谷歌在2017年为翻译目的开发的编码器-解码器架构的演变。

　　数字服务公司West Monroe的技术实践总监Scott Rozen-Levy表示，这两种架构的区别在于，MoE模型通过提高计算效率，可以实现更高效的培训。

　　Rozen-Levy说：“陪审团仍在研究比较复杂性及其对LLM质量的影响的正确方法，无论是MoE模型还是全密度模型。”

　　Snowflake声称，其北极模型优于大多数开源模型和一些参数较少的闭源模型，并且使用更少的计算能力进行训练。

　　该公司表示：“Arctic在推理或培训期间激活的参数比DBRX少约50%，比Llama 3 70B少75%。”并补充说，它一次只使用两个混合专家模型，即其4800亿参数中的约170亿个。

　　DBRX和Grok-1分别有1320亿个参数和3140亿个参数，在任何给定的输入上激活的参数也更少。虽然Grok-1在任何给定的输入上使用其八个MoE模型中的两个，但DBRX只激活了其1320亿个参数中的360亿个。

　　然而，半导体研究公司Semianalysis的首席分析师Dylan Patel表示，至少一个衡量标准，Llama 3仍然明显优于北极。

　　Patel在谈到北极所需的计算能力和内存时说：“从成本来看，475亿参数的北极模型在FLOPS上更好，但在内存上却不好。”

　　此外，帕特尔说，北极确实非常适合离线推理，而不是在线推理。

　　离线推理，也称为批量推理，是一个运行、存储预测并随后应要求呈现的过程。相比之下，在线推理，也称为动态推理，正在实时生成预测。

　　生成基准

　　据Snowflake称，Arctic在编码和SQL生成基准（如HumanEval+、MBPP+和Spider）中的表现优于DBRX和Mixtral-8x7B等开源模型，但它在一般语言理解（MMLU）、MATH和其他基准方面未能优于许多模型，包括Llama 3-70B。

　　专家声称，这是Llama 3等其他模型中的额外参数可能会增加好处的地方。

　　分析软件提供商Answer Rocket的首席技术官Mike Finley说：“Llama 3-70B在GSM8K和MMLU基准上的表现比北极好得多，这很好地表明了Llama 3在哪里使用了所有这些额外的神经元，以及这个版本的北极可能在哪里失败。”

　　Finley说：“要了解北极的真正运作情况，企业应该将自己的模型负载之一放在脚步，而不是依赖学术测试上。”他补充说，值得测试北极在特定企业的特定模式和SQL方言上表现良好，尽管它在Spider基准上表现良好。

　　据Omdia首席分析师Bradley Shimmin称，企业用户不应该过于关注基准来比较模型。

　　“我们目前唯一相对客观的分数是LMSYS竞技场排行榜，它从实际用户互动中收集数据。唯一真正的衡量标准仍然是在其视角用例的背景下对模型进行实证评估，”Shimmin说。

　　为什么Snowflake在Apache 2.0许可证下提供北极？

　　Snowflake在Apache 2.0许可证下提供Arctic和其他文本嵌入模型以及代码模板和模型权重，该许可证允许商业使用，无需任何许可成本。

　　相比之下，Llama来自Meta的模型系列具有更严格的商业使用许可证。

　　分析师表示，完全开源的策略可能对Snowflake在许多方面都有好处。

　　“通过这种方法，Snowflake可以保持真正专有的逻辑，同时仍然允许其他人调整和改进模型输出。在人工智能中，模型是输出，而不是源代码，”Amalgam Insights的首席分析师Hyoun Park说。

　　Park说：“人工智能的真正专有方法和数据是模型的训练过程，使用的训练数据，以及为训练过程优化硬件和资源的任何专有方法。”

　　The Futurum Research的现代化和应用程序开发实践负责人Paul Nashawaty表示，Snowflake可能看到的另一个好处是开发人员更感兴趣。

　　分析师解释说：“其模型的开源组件可以吸引外部开发人员的贡献，从而带来增强、错误修复和新功能，使Snowflake及其用户受益。”他补充说，开源可能会通过“完全的善意”增加更多的市场份额。

　　West Monroe的Rozen-Levy也同意Nashawaty的观点，但指出，支持开源并不一定意味着Snowflake将发布其在同一许可证下构建的所有内容。

　　“也许Snowflake有更强大的模型，他们不打算在开源中发布。以完全开源的方式发布法学硕士，也许是一个机构对人工智能完全集中的道德和/或公关游戏，”分析师解释道。

　　Snowflake的其他版本系列

　　本月早些时候，该公司发布了五个不同参数大小的文本嵌入模型系列，声称这些模型的性能优于其他嵌入模型。

　　LLM提供商越来越多地发布多种模型变体，以允许企业根据用例在延迟和准确性之间进行选择。虽然参数较多的模型可以相对更准确，但参数较少的模型需要更少的计算，响应时间更少，因此成本更低。

　　该公司在一篇博客文章中写道：“当将专有数据集与LLM相结合作为检索增强生成（RAG）orsemantic搜索服务的一部分时，这些模型为企业提供了新的优势。”并补充说，这些模型是它从去年5月收购Neeva中获得的技术专业知识和知识的结果。

　　五个嵌入模型也是开源的，可以在Hugging Face上立即使用，通过Cortex访问它们目前正在预览中。