IBM要如何帮助企业落地可信的生成式AI

2023年是大语言模型爆发元年,2023年上半年,国内外诸多科技公司和科研机构都发布或者开源了大语言模型,或者基于大语言模型的生成式AI在线服务。

虽说ChatGPT以一己之力掀起了新一轮的AI技术浪潮,让很多人都见识到了大语言模型和生成式AI的能力,初见惊为天人,但很快,很多人都发现了问题。

最显而易见的就是“生成的结果是否可信”的问题。2B企业服务不同于2C,对错误的容忍度很低,能否带来准确的结果,产生的结果是否可信都至关重要。

企业级生成式AI落地的三大要素

除了可信方面的问题,IBM认为,想要随心所欲地使用生成式AI还是很困难的,想要在企业落地的话,还要具备企业就绪和开放可扩展这两大要素。

在IBM大中华区首席技术官、研发中心总经理谢东看来,企业手里的数据要如何利用起来,大模型要怎么选,要利用什么技术来开发大模型,要如何利用大模型开发出对应的应用,这些都是非常现实的问题。

大体上,模型规模越大效果会更好,但站在企业的角度看,模型并非越大越好。谢东解释说,因为,当模型规模越大时,成本也相应提高,此时,企业会看重模型是否能满足企业的特定任务需求,如果可以满足需求,那么出于成本的考虑,模型规模越小越好。

除此之外,想要在企业落地大模型,还需要了解企业的专业知识来解决具体的问题,而这些要解决的问题本身其实是不断变化的,所以,就要求模型有持续学习的能力,让系统能够不断学习和进化,能力能够不断扩展。

深度学习模型做不到这点,一个深度学习模型对应一个垂直的应用,而现在的基础模型则完全不同,企业可以基于一个基础模型演化出不同的应用。想要基于基础模型来开发不同的应用需要新的工具,新的自动化方法来训练、调试和部署模型,于是,IBM发布了watsonx。

IBM以前所未有的速度推出了watsonx

2023年8月22日,IBM在北京面向中国市场发布新一代AI与数据平台watsonx,发布会上,IBM大中华区董事长、总经理陈旭东坦言,IBM是以前所未有的速度推出了watsonx。

2022年年底,ChatGPT横空出世,2023年5月,IBM在全球发布watsonx。对于IBM这种规模的公司来说,这种速度并不多见。

原因很简单,IBM在人工智能领域的探索和贡献可以追溯到上世纪五十年代。

从跳棋人机大战到国际象棋人机大战,再到2011年做知识竞赛,再到2019年人工智能辩手,IBM从没有放下这项以创始人名字命名的人工智能品牌。

watsonx 是IBM 的企业级 AI 和数据平台,它可以帮助企业充分利用基础模型和机器学习,减轻落地人工智能的工作负担,使企业能够更轻松地大规模开发、调整和部署企业就绪的AI,而且是值得信任的AI。

watsonx包含watsonx.data,watsonx.ai和watsonx.governance三大部分:

watsonx.data负责为人工智能准备数据,它提供的企业内部数据的管理系统,可以高效地把数据喂给人工智能训练系统。

watsonx.ai主要用来训练、验证、调优、部署AI模型的,同时还可以用于开发人工智能应用。

watsonx.governance的主要功能是做企业级AI的治理和监管,帮助企业实现数据合规和内容合规,以满足越来越多的行业监管和法律要求。

watsonx如何帮助企业落地可信的生成式AI?

在数据准备,训练模型,验证模型,微调模型,把模型部署在应用和解决方案的过程中,watsonx发挥了什么作用呢?又是如何帮助企业落地可信的生成式AI?

为了减少AI幻觉,让生成的结果更可靠,IBM有一整套工具和方法论。

从谢东的介绍中了解到,从数据准备阶段开始,watsonx会确保数据是干净合规的,数据本身的完整性要足够,信息量也要合乎要求。

在训练阶段,watsonx会清楚地显示用于训练模型所有的数据,追踪模型的每一个版本,甚至可以透明告诉用户模型是由哪些数据训练出来的,以此增强用户对模型的信心。

在随后的微调阶段,watsonx可以监督模型产生的内容是否可用,是符合人的常识,是否符合人的伦理道德。

IBM的watsonx在整个流程里,都尽可能让生成式AI生成更可信的内容。

通常,AI流程都是从准备数据开始的,watsonx.data可以帮助企业将位于公有云、本地和其他基础设施中的数据连接起来,让企业轻松访问到各种数据。

从谢东的介绍中了解到,IBM的watsonx.data已经收集了数PB的数据,这些数据都被处理成了可用于训练的形式。当然,在此基础上,用户可以加入自己的数据。

值得一提的是,所有存储在watsonx.data里的数据,还都带有每个文件的详细元数据,还会创建数据的名片,这为数据的追溯治理提供了很大便利。

watsonx.data里的数据会按照不同类别进行分类,比如英语、汉语、德语等自然语言,以及Java、Cobol等编程语言做很多分类,还会对数据进行过滤,删除重复数据、删除含有仇恨、辱骂、不雅言论的数据,删除含有私人信息的数据等等,准备好用于训练的数据。

数据就绪后,开始用watsonx.ai来训练模型。

watsonx.ai的基础模型库提供了基于可信数据训练的基础模型,用户可以在五大类基础模型中进行选择。watsonx.ai还提供了训练用的算力支持,可以使用IBM在公有云上构建的AI超级计算机Vela,它提供裸金属级别的性能。

watsonx.ai会自动根据训练所需的计算资源进行调整,随着模型参数规模的不断跃升,模型的训练任务越来越复杂,需要成百上千个GPU工作数天甚至数月。为了简化使用体验,watsonx.ai利用了业内人士熟悉的各种开源技术,还与Hugging face进行了合作。

训练完成后,watsonx.ai还会运行一组全面的基准测试,用来评估模型在各种指标上的表现。一旦模型在基准测试中都达到阈值要求,它就被打包并标记为可以使用的状态。并且,watsonx.ai会给每个模型创建一个名片,名片里会列出模型的所有细节。

在对模型进行微调时,用户可以在watsonx.ai里设置微调的选项和方法,给模型指定要用于微调的数据和对应的Prompt(提示词),用户获得模型在Prompt(提示词)下生成的结果。经过多轮微调后,用户可以得到一组比较理想的提示词和对应的微调后的模型。

最后在watsonx的帮助下,用户可以将模型部署在公有云、本地或者边缘设备当中,在模型部署后,watsonx.governance会持续监控着模型,如果有任何可能影响模型使用或性能的变化被watsonx.governance看到了,就会触发一个对数据和模型进行更新的进程。