如果你的企业,2020没有跟上云原生应用,错过了敏捷、迭代;那么2024年,你能跟上大模型吗? 其实二者有个共同点:“时不我待”,“自己动手,丰衣足食”。
怎么才算跟上AI大模型发展的步伐呢?
莫非要自己训练大模型吗?
自己动手是一定的,训不训练大模型,这要看需求了!
先行者说
不妨看看先行者是怎么做的。
南方电网算是传统企业了吧?!
可是就是他们,用大模型构建了全新的“驭电”智能仿真大模型,利用高维空间数据拟合能力,借助电网内规律学习,智能仿真电力调度,为光伏新能源等并网提供支撑。
高维空间数据拟合看似高大上,实际并不复杂, AI大模型训练也是利用这个原理,简单说,就是换个角度检索数据,从高维向量空间探寻数据之间的隐藏规律。大模型更多用于对话,南方电网用于电力调度。
据透露,南方电网“驭电”大模型能够将多场景数据分析的速度提升到ms级,效率提升了1000倍,从而避免了计算不及时所导致的“弃电”问题。
另外一个例子是“智谱AI”,作为大模型6小虎之一,其特点是注重行业市场的推广应用,在原有CodeGeex代码生成大模型基础上,智谱AI有发布了CogVLM2-video视频生文开源大模型,实现了从代码生成,到视频生文的跨越。
腾讯PCG则是将大模型应用发展方向聚焦在基于业务各种内容推荐上,面向最终用户提供推理生成的内容。类似互联网厂商的“千人千面”服务方式,为用户提供定制服务,不同的是,互联网主要基于用户访问行为;而大模型推荐则是完全基于行业自身积累数据。
先行者实践经验提示我们:大模型并不遥远,将带来无限可能和想象空间,时不我待。
从AI框架着手
这些先行者是怎么做到的呢?这里的答案是强大AI基础框架。AI框架是这些成功实践的基础。
目前国外的AI框架有很多,其中包括TensorFlow、PyTorch、Keras、Theano、MXNet等深度学习框架;Scikit-learn、LightGBM等机器学习框架;OpenCV、Scikit-Image等计算机视觉框架以及NLTK、AllenNLP等自然语言处理框架。国内则有昇思 MindSpore、飞桨(PaddlePaddle)、OneFlow、旷视天元(MegEngine)和计图(Jittor)等。
这里的AI框架非常重要。它使得用户、开发者无需从头编写复杂的底层代码,而是借助AI框架集成的算法、数据结构和工具,提高开发的效率,例如动态计算图的功能特性方便研究人员随时调整模型结构和参数;内置的随机梯度下降、Adagrad、Adadelta 等工具,能够自动调整模型参数,加快模型训练速度,提高模型的准确性和泛化能力。
试想对于用户而言,目前会有几十种训练好的模型,以及算法可供选择,同时需要考星到硬件资源并行程度,以及跨平台部署等技术问题,没有一个好的AI框架来承担这些基础工作,任何美好的想法和愿望也是很难满足和实现的。
AI框架媲美超越 CUDA
在AI大模型时代,我们见证了英伟达的成功,也惊叹于GPU提供的强大算力,但很多时候,我们忽略了CUDA对于英伟达GPU成功的重要性。
CUDA 是的一种并行计算平台和编程模型,主要用于GPU高效并行计算,提供了直接操作GPU硬件的接口和工具,使得开发人员能够利用 GPU 的强大计算能力来加速各种计算任务,尤其是深度学习模型的训练和推理过程 。但CUDA 并不算一种 AI 框架,AI 框架通常提供了丰富的神经网络层、模型构建模块以及训练算法等,方便用户直接构建和训练各种深度学习模型。而 CUDA 主要是提供了一种并行计算的编程接口和工具,用于在 NVIDIA 的 GPU 上进行高效的计算,本身并不具备直接构建和训练深度学习模型的功能。
AI 框架往往集成了大量的高级算法和工具,如自动微分、优化器、数据增强等,以方便用户进行模型的开发和优化。CUDA 则主要关注于 GPU 的并行计算,对于这些高级算法和工具的支持相对较少。为了弥补CUDA在这方面的不足,英伟达的策略是加强与主流的深度学习框架,如 PyTorch、TensorFlow 等的合作,开发了一系列与 CUDA 紧密集成的工具和插件,方便用户调用。与此同时,针对卷积、池化、归一化等常用神经网络操作以及加速数据加载和预处理的过程,英伟达提供了cuDNN(CUDA Deep Neural Network library)、 DALI(Data Loading Library)等加速库的支持,提供了英伟达的 TAO(Transfer Learning Toolkit)开发和部署工具包,集成了大量开源的示例代码和预训练模型库,英伟达积极建立和维护 CUDA 开发者社区,通过举办技术研讨会、线上论坛、线下活动等方式,促进开发者之间的交流和合作。
CUDA的成功也预示着AI框架光明的未来。以昇思MindSpore为例,自2020年开源以来,目前已孵化、支持国内外50多个主流大模型;覆盖全球130多个国家和地区的2400多个城市;3.7万多名开发者参与社区贡献;联合1700多位生态伙伴,打造超过2000+解决方案,据预测中国AI框架2024年新增市场昇思份额将达30%。
可以说,以昇思MindSpore为代表的AI框架将是大模型时代,行业用户拥抱AI,让AI落地的最强有力的武器,除此之外,没有太多的捷径可走。
小结
所谓授人鱼,不如授人以渔。大模型时代,行业用户的渔就是AI框架,自己动手,丰衣足食。这里的重点是自己动手DIY,不要等待Total Solution,不要等待“交钥匙”工程,如此,才能够跟上AI大模型时代发展的步伐。