字节跳动发布业内首个视频转场推荐方案,成果入选ECCV2022

近期,字节跳动智能创作团队研发了业内首个通用视频转场推荐方案AutoTransition,致力于解决目前视频剪辑中存在的学习成本高,编辑效率低等问题,该项成果目前已入选计算机视觉领域顶会ECCV2022(European Conference on Computer Vision)。

随着短视频的迅猛发展和普及,每天都有海量用户通过视频来记录和分享生活。对于缺乏专业剪辑和视频编辑知识的普通用户而言,视频的制作和剪辑却具有很高的门槛。

AutoTransition兼顾灵活性与高性能,面向转场这一视频剪辑中最常使用的编辑元素,通过将转场推荐任务建模为多模态匹配和检索问题,从大量视频数据中自动学习转场匹配关系,实现了对任意视频和音频输入推荐高质量的转场效果。借助AutoTransition,用户可以快速一键生成优质转场视频,使剪辑效率得到显著提升。

据介绍,相比于基于一系列预定义的策略或随机选取的剪辑方式,AutoTransition能够有效地从海量数据中学习到专业的剪辑知识,并基于对视频和音频的理解推荐高质量转场;相比于人工剪辑,AutoTransition模型能够在极短时间内完成推荐,显著提升编辑效率,并且推荐结果可媲美甚至超越专家剪辑的效果;得益于优秀的扩展性,AutoTransition可以方便地和其他的视频处理技术结合(例如视频高光提取、视频聚类和排序等),以实现更全面的视频剪辑能力,帮助视频工作者进一步提升视频编辑的效率。

目前,AutoTransition的衍生技术已经成功落地于抖音和智能创作ToB工具箱等多项业务场景中。字节跳动智能创作团队表示:首个视频转场数据集和AutoTransition代码均已开源,以期吸引更多同行关注这一新领域,共同推动智能视频剪辑的快速发展。未来,该团队准备将这一方案扩展到更多的视频剪辑元素,包括但不限于视频动画,视频贴纸和裁剪变换等,同时还将尝试和其他视频处理技术结合,以实现更全面的视频剪辑功能。