在移动设备上观看视频时,相信你遇到过视频被严重裁剪了多次的情况?这当然会有一种非常不舒服的观感,并且在大多数情况下, 我们对此无能为力。
#谷歌称首次实现量子霸权#为了解决这个问题,谷歌的AI团队开发了一种开源解决方案Autoflip,可以对适合目标设备或尺寸(风景,正方形,人像等)的视频进行重新格式化。
自动翻转的工作分为三个阶段:镜头(场景)检测,视频内容分析和重新构图。第一部分是场景检测,其中 机器学习模型需要在剪切或从一个场景跳转到另一个场景之前检测点。 因此,它将一帧与之前的一帧进行比较,以检测颜色和元素的变化。
一旦模型确定了镜头,便会继续进行视频内容分析,以确定场景中的重要对象。它使用深度学习神经网络不仅可以确定人或动物,还可以确定运动中的运动和移动球以及广告中的标记。
在最后阶段,AI模型确定是 针对单个空间中的场景使用固定模式,还是关注对象不断移动的跟踪模式。基于此,以及 需要显示视频的目标尺寸,“自动 翻转”将裁剪帧,同时减少抖动并保留感兴趣的内容。
谷歌研究人员表示,可以使用Autoflip轻松地将视频转换为多种格式和屏幕。对于下一阶段,团队希望改善采访和动画电影中的对象跟踪。它希望使用文本检测和图像修复技术将前景对象和背景对象更好地放置在一帧中。