作者:IBM watsonx.ai产品主管Maryam Ashoori;IBM AI平台(watsonx.ai和watsonx.governance)产品管理副总裁Armand Ruiz;IBM watsonx.ai产品经理Nisarg Patel
北京2025年2月11日/美通社/——IBM日前宣布,DeepSeek-R1的Llama3.18B和Llama3.370b蒸馏版本现已在IBM的企业级AI开发平台watsonx.ai上提供。
DeepSeek-R1到底是啥?
DeepSeek-R1是中国人工智能(AI)初创公司DeepSeek的推理大语言模型(LLM),是世界上最强大的开源模型之一,甚至可以与OpenAI的o1相媲美。DeepSeek-R1在MIT许可证下发布,主要是通过在基础模型DeepSeek-V3上直接使用强化学习(RL)开发的,这是微调LLM的一项重大创新。
DeepSeek还使用了一种称为知识蒸馏的技术,使用较大的R1模型生成的数据来微调多个Llama和Qwen模型。用户可以通过两种方式在watsonx.ai上访问DeepSeek蒸馏模型:
IBM通过”按需部署目录”在watsonx.ai中提供两种Llama蒸馏变体,允许用户部署专用实例进行安全推理。
用户还可以使用自定义基础模型导入功能导入DeepSeek-R1模型的其他变体,如Qwen蒸馏模型。
DeepSeek-R1支持哪些类型的用例?
DeepSeek-R1是一种先进的AI模型,以其卓越的推理能力而著称,支持各行各业的广泛应用:
规划:DeepSeek-R1专注于思维逻辑链,能够执行需要逐步推理的任务,因此非常适合为智能体(代理)应用程序提供支持。
编码:DeepSeek-R1擅长编码任务,提供代码生成、调试辅助和优化建议。
数学问题解决:该模型强大的推理能力使其善于解决复杂的数学问题,这对学术研究、工程和科学计算大有裨益。
开发人员可在IBMwatsonx.ai中使用DeepSeek-R1等已部署的模型和解决方案功能构建人工智能解决方案:
以易于理解的格式和用户界面测试和评估模型输出
通过连接各种向量数据库和嵌入模型来构建RAG管道
与LangChain、CrewAI等流行框架和连接器协同工作
为何要在watsonx.ai上使用DeepSeek蒸馏模型?
IBMwatsonx.ai使客户能够定制实施DeepSeek-R1等开源模型,从部署环境的完全灵活性到智能体(代理)开发、微调、RAG、提示工程和与企业应用程序集成的直观工作流,用户可以利用watsonx.ai的内置护栏来保护他们的应用程序。
当然,数据安全和AI治理是客户最关心的问题。除防护栏外,在watsonx.ai上部署时,这些模型将成为专用实例,这意味着除平台外,不会在其他任何地方共享数据。此外,与IBM watsonx.governance这一功能强大的治理、风险和合规性(GRC)工具包的无缝集成,可确保客户的AI在整个AI生命周期内都是负责任、透明和可解释的。
开始在IBM watsonx.ai上使用DeepSeek
支持DeepSeek-R1的蒸馏变体是IBM致力于AI开源创新的一部分。DeepSeek Llama的两个蒸馏模型都以纳入IBM watsonx.ai上按需部署目录,能够在专用GPU上按小时部署。
如何从watsonx资源中心按需部署R1模型
从资源中心按需部署基础模型,请完成以下步骤:
从导航菜单打开资源中心。
从”按小时付费”部分,找到要按需部署的DeepSeek模型。
从模型详细信息页面,单击”Deploy(部署)”。
从基础模型磁贴中单击”Deploy(部署)”,然后选择要部署基础模型的部署空间。
单击”Create(创建)”。
通过PromptLab或API/SDK开始使用模型。
IBM watsonx.ai在这里会用斜体显示模型的思维过程,而最终输出则用非斜体显示。正如你所见,只需一个简单的提示,模型就能推理并规划出响应中需要包含的各个部分。
如何通过RESTAPI在watsonx上部署R1模型
或者,您也可以使用RESTAPI来部署模型
当然,您必须将bearertoken和space-id等信息替换为相应的凭证。模型部署完成后,您可以从PromptLab或watsonx.aiAPI提示基础模型。
通过让用户访问watsonx.ai上同类最优的开源模型(包括第三方模型和IBMGranite),我们以期能够塑造协作和知识共享的文化。