AWS在其re:Invent 2023会议上引入了“即插即用”Amazon Q助手，使企业可以轻松采用通用生成的人工智能聊天机器人。但对于想要用自己的或别人的大语言模型（LLM）构建自己的生成AI助理的企业来说，事情会更加复杂。

　　AWS SageMaker总经理Ankur Mehrotra告诉InfoWorld.com，为了帮助处于这种情况的企业，AWS一直在投资为LLMops（运营和管理LLM）构建和添加新工具，以获取Amazon SageMaker、其机器学习和人工智能服务。

　　“我们正在对机器学习操作（MLops）进行大量投资，并建立大型语言模型操作能力，以帮助企业在生产中管理各种LLM和ML模型。这些能力帮助企业快速移动，并在模型可用时交换模型的一部分或整个模型，”他说。

　　Mehrotra预计新功能将很快添加——尽管他不会说什么时候，但最合乎逻辑的时间将是今年的re:Invent。目前，他的重点是帮助企业维护、微调和更新他们使用的LLM。

　　Mehrotra说，在几种情况下，企业会发现这些LLMops功能很有用，AWS已经在其中一些方面交付了工具。

　　其中之一就是当正在使用的模型的新版本或对该用例性能更好的模型可用时。

　　“企业需要工具来评估模型性能及其基础设施要求，然后才能安全地投入生产。这就是ShageMaker工具（如影子测试和Clarify）可以帮助这些企业的地方，”Mehrotra说。

　　影子测试允许企业在进入生产之前评估特定用途的模型；Clarify检测模型行为中的偏差。

　　Mehrotra说，另一种情况是，当模型抛出不同或不需要的答案时，因为用户对模型的输入随着时间的推移而变化，这取决于用例的要求。这将要求企业要么进一步微调模型，要么使用检索增强生成（RAG）。

　　“SageMaker可以帮助企业同时做这两件事。一端，企业可以使用服务内的功能来控制模型的响应方式，另一端，SageMaker与LangChain for RAG集成，”Mehrotra解释道。

　　SageMaker最初是一个通用的人工智能平台，但最近AWS一直在增加更多专注于实现生成人工智能的功能。去年11月，它推出了两种新产品，SageMaker HyperPod和SageMaker Inference，以帮助企业高效地培训和部署LLM。

　　该公司表示，与手动法学硕士培训流程（可能会出现延迟、不必要的支出和其他复杂情况）不同，HyperPod消除了构建和优化培训模型机器学习基础设施的繁重工作，将培训时间减少了高达40%。

　　Mehrotra表示，在过去的几个月里，随着企业希望将生成人工智能用于生产力和代码生成目的，AWS对模型培训和模型推理工作负载的需求大幅增加。

　　虽然他没有提供使用SageMaker的企业的确切数量，但Mehrotra表示，在短短几个月内，该服务增长了大约10倍。

　　“几个月前，我们说SageMaker有数以万计的客户，现在我们说它有数十万客户，”Mehrotra说，并补充说，一些增长可以归因于企业将其生成性人工智能实验投入生产。