尽管体育产业在持续优化家庭观众的观看体验,但一些问题仍未解决。比如,足球赛事直播镜头中意外出现摄像师的身影,就会影响足球迷们的观赛体验。此类事件不仅会影响比赛关键时刻的播出,还会引起观众不满因此导致广播公司的收入损失。
为了解决这一个问题,考纳斯理工大学(KTU)的科研人员开发了一套端到端系统,旨在通过消除因摄影师入画而产生的视觉干扰,从而提升观众的观看体验。
研究小组的一名成员Postupaiev指出:“在著名的锦标赛中,摄像机数量至少有9台(往往远多于9台),且存在大量视角重叠,这不仅造成了视觉上的干扰,还严重制约了摄影师团队的工作。因为他们必不断地拍摄比赛,同时又要尽可能的避免拍到其他摄像师,这有几率会使部分比赛关键瞬间背景缺失,或使得转播内容显得不够流畅。”
KTU教授Rytis Maskeliūnas则表示:“我们新研发的算法,为移除直播过程中不必要的对象(比如摄影师身影)而设计。”
该系统基于YOLOv8模型实现。YOLOv8模型能应用于实时目标检测,检测速度快且准,非常适合于足球直播等实时性要求高的场景。YOLOv8的工作原理是将图像划分为网格,并预测每个网格内的边界框和类别,从而精准识别并分割出目标。为确保YOLOv8模型在足球比赛中的精准应用,其训练时所用的数据集非常全面,涵盖了各种条件下和不同足球比赛阶段拍摄到的摄影师照片,这些照片中的摄影师使用了不一样的尺寸和类型的设备。
此外,KTU研发的这套系统还结合了视频修复技术。具体地说,这套系统通过利用人工智能(AI)与计算机视觉技术,分析视频帧,识别并移除摄影师等干扰元素,同时用相关背景细节填补删除的区域,修复后的视频随后传输给观众,为观众呈现更为流畅、专业的直播画面。
目前,该算法在电视服务器上可以在一定程度上完成几秒延迟的即时处理,在当前技术条件下,这一微小的时间差不影响直播的即时感,而且随着设备性能的不断的提高,未来AI技术有望将这类延时隐藏起来。
此技术的引入,标志着家庭观看足球比赛体验的重大飞跃。新技术提升了直播的精致度与专业感,不会因为摄影师出现在不应该出现的地方而造成干扰。这种改进将减少因干扰镜头而错过比赛重要时刻的情况。
在这一领域的进一步研究可能会开创体育广播的新时代,将重点从简单地捕捉动作转向创造一种完全沉浸式和无缝的观看体验。
通过消除摄影师等干扰因素,广播企业能尝试新颖的摄影视角与效果,为观众带来前所未有的观赛享受。
此外,这项技术能扩展到现场直播之外,应用于赛前赛后分析、离线精彩片段编辑及历史比赛片段修复等多个领域,为经典赛事回放增添新的活力。同时,这项技术还不仅限于足球,诸如五人制足球、篮球等追求沉浸式直播效果的体育项目同样能从中受益。
KTU信息学教授Maskeliūnas表示:“这一成果再次说明了现代AI应用领域的潜力。虽然我们常聚焦于医疗等领域的AI应用,但此次展示了一种直接面向消费者的方式——利用AI编辑不满意的图像。在未来,这种技术能在不影响观看体验的前提下,移除或替换广告内容。”