当80亿文件来袭

数据创新涉及数据密集型计算,如AI训练在对模型进行参数优化和校验时,需要反复对海量小文件进行读、写、检索等操作,这是一个牵涉到1亿~80亿个小文件的访问。

在这种情况下,如何确保系统的QPS(每秒完成请求的数量)/TPS(每秒完成交易数)、延迟不因为海量数据访问带来波动,这对存储系统设计提出了很高的要求。

而百度云成功将系统波动控制在5%以内,有效提升了AI训练的数据利用效率。

不禁有人要问,百度云是如何实现这一操作的?

6月26日下午3点,Dostor总编宋家雨将对话百度智能云产品管理部负责人宋飞、INTEL NSG CME Benny Ni,针对存储系统设计、AI训练和数据文件访问以及Optane的特点与定位等话题展开深入探讨,欢迎大家关注。

直播地址:点击前往