尽管亚马逊并没有与外界分享内部软件生产情况的习惯,但近几个月以来,众多拥有开源深度学习技术的网络行业巨头们显然发生了一些心理变化。因此,一些公司于昨日的C++库发布之际悄然加入了开发神经网络的战局。
名为DSSTNE的一套框架,在亚马逊分布式处理并行机制中的速度欠佳。通常的替代法是,通过在每个GPU代码的单独副本和同步协调机制中执行活动模型。其他方式是将算法的每一个主要因素分配到不同的芯片,这样工作效率会更高,但仍然没有最大限度地利用现有的硬件。 对于DSSTNE,反过来,优化利用后者方法可以计算出一台给定处理器能处理并分配负载的最佳数量。
当框架被用来分析所谓的稀疏数据集而发现其中缺少很多细节时,其性能的提升就显得尤为突出了。为了处理的部分信息,亚马逊将DSSTNE优化,帮助加快推荐引擎的创立,这种方式通常不能获取编程权衡的所有信息。关于零售巨头网站的产品建议功能,比如,如果访客没有登录到帐户中,是不能将他们的购买历史记录在内的。同时,搜索应用程序将能够利用该框架,并处理经常出现在用户查询中的语义差别。
亚马逊还计划增加对图像和语音识别算法的支持,努力进一步提升DSSTNE在未来的影响力。该库已构成对现有深度学习引擎的威胁:零售巨头声称,此深度学习库在一次内部基准测试中的表现更胜一筹,优于Alphabet目前流行的TensorFlow系统的2.1倍。
【更多行业资讯,请关注DOIT官方微信(微信号:doitmedia),关注科技与数据经济,洞察IT走向DT。】