企业通过watsonx.ai采用DeepSeek R1蒸馏模型,可增强安全、治理和规模化部署能力

作者:IBM watsonx.ai产品主管Maryam Ashoori;IBM AI平台(watsonx.ai和watsonx.governance)产品管理副总裁Armand Ruiz;IBM watsonx.ai产品经理Nisarg Patel

北京2025年2月11日/美通社/——IBM日前宣布,DeepSeek-R1的Llama3.18B和Llama3.370b蒸馏版本现已在IBM的企业级AI开发平台watsonx.ai上提供。

DeepSeek-R1到底是啥?

DeepSeek-R1是中国人工智能(AI)初创公司DeepSeek的推理大语言模型(LLM),是世界上最强大的开源模型之一,甚至可以与OpenAI的o1相媲美。DeepSeek-R1在MIT许可证下发布,主要是通过在基础模型DeepSeek-V3上直接使用强化学习(RL)开发的,这是微调LLM的一项重大创新。

DeepSeek还使用了一种称为知识蒸馏的技术,使用较大的R1模型生成的数据来微调多个Llama和Qwen模型。用户可以通过两种方式在watsonx.ai上访问DeepSeek蒸馏模型:

IBM通过”按需部署目录”在watsonx.ai中提供两种Llama蒸馏变体,允许用户部署专用实例进行安全推理。

用户还可以使用自定义基础模型导入功能导入DeepSeek-R1模型的其他变体,如Qwen蒸馏模型。

DeepSeek-R1支持哪些类型的用例?

DeepSeek-R1是一种先进的AI模型,以其卓越的推理能力而著称,支持各行各业的广泛应用:

规划:DeepSeek-R1专注于思维逻辑链,能够执行需要逐步推理的任务,因此非常适合为智能体(代理)应用程序提供支持。

编码:DeepSeek-R1擅长编码任务,提供代码生成、调试辅助和优化建议。

数学问题解决:该模型强大的推理能力使其善于解决复杂的数学问题,这对学术研究、工程和科学计算大有裨益。

开发人员可在IBMwatsonx.ai中使用DeepSeek-R1等已部署的模型和解决方案功能构建人工智能解决方案:

以易于理解的格式和用户界面测试和评估模型输出

通过连接各种向量数据库和嵌入模型来构建RAG管道

与LangChain、CrewAI等流行框架和连接器协同工作

为何要在watsonx.ai上使用DeepSeek蒸馏模型?

IBMwatsonx.ai使客户能够定制实施DeepSeek-R1等开源模型,从部署环境的完全灵活性到智能体(代理)开发、微调、RAG、提示工程和与企业应用程序集成的直观工作流,用户可以利用watsonx.ai的内置护栏来保护他们的应用程序。

当然,数据安全和AI治理是客户最关心的问题。除防护栏外,在watsonx.ai上部署时,这些模型将成为专用实例,这意味着除平台外,不会在其他任何地方共享数据。此外,与IBM watsonx.governance这一功能强大的治理、风险和合规性(GRC)工具包的无缝集成,可确保客户的AI在整个AI生命周期内都是负责任、透明和可解释的。

开始在IBM watsonx.ai上使用DeepSeek

支持DeepSeek-R1的蒸馏变体是IBM致力于AI开源创新的一部分。DeepSeek Llama的两个蒸馏模型都以纳入IBM watsonx.ai上按需部署目录,能够在专用GPU上按小时部署。

如何从watsonx资源中心按需部署R1模型

从资源中心按需部署基础模型,请完成以下步骤:

从导航菜单打开资源中心。

从”按小时付费”部分,找到要按需部署的DeepSeek模型。

从模型详细信息页面,单击”Deploy(部署)”。

从基础模型磁贴中单击”Deploy(部署)”,然后选择要部署基础模型的部署空间。

单击”Create(创建)”。

通过PromptLab或API/SDK开始使用模型。

IBM watsonx.ai在这里会用斜体显示模型的思维过程,而最终输出则用非斜体显示。正如你所见,只需一个简单的提示,模型就能推理并规划出响应中需要包含的各个部分。

如何通过RESTAPI在watsonx上部署R1模型

或者,您也可以使用RESTAPI来部署模型

当然,您必须将bearertoken和space-id等信息替换为相应的凭证。模型部署完成后,您可以从PromptLab或watsonx.aiAPI提示基础模型。

通过让用户访问watsonx.ai上同类最优的开源模型(包括第三方模型和IBMGranite),我们以期能够塑造协作和知识共享的文化。