科创中国

电子信息技术,通信技术,计算机及网络技术,软件

新一代的可适配、可交互、可操控视频技术体系对于视频的分析 理解、编码处理、及分发传输等各个环节提出了全方位的要求，并在 架构、内容和数据三个方面对视频分析与传输技术带来全新的挑战： 首先，在架构方面，随着智能媒体系统计算前移、端云协同等架构的 日益普及，传统的只面向视频流的处理和传输架构已经难以满足新一 代媒体业务需求，亟需研制能对视频流以及表征视频内容的语义流进 行联合处理和传输的全新架构；其次，在内容方面，随着视频内容的 日益复杂化与多样化，对其进行快速、准确分析的难度日益增大，与 快速增长的视频内容服务需求构成突出的矛盾，难以有效支撑对视频 内容的可交互、可操控等关键需求；第三，在数据方面，随着视频数 据的爆炸式增长，形成巨大的存储与传输开销，而相应的处理设备与 传输环境差异巨大，无法保证适配化的视频传输与低延时的视频交互 操控任务，极大限制了视频服务的质量。

1）热扩散的层次化结构语义分析。系统地归纳了视频中不同尺 度目标运动及行为关系的特点，提出了热扩散的层次化结构复杂语义 分析技术，突破了运动、行为等核心视频语义的提取难题，研制了视 频大数据语义分析系统，语义分析提取实现 3 倍以上的速度提升。 2）多模式预测的语义压缩编码。提出了时序视频语义在时间、 空间、场景、重构性方面的冗余关系模型，并提出了多模式预测的语 义编码方案，实现了面向目标位置、运动、关键点序列等核心基础语 义的压缩编码，将语义信息的数据量降低 40%以上。 3）语义驱动的自适应视频编码控制。揭示了编码资源与表征内 容语义单元间的多模式关系图谱，提出了语义驱动的自适应视频编码 控制技术和编码控制统一架构，实现了能量分级编码、码率控制等一 系列可伸缩、可分级、以及自适应的编码控制功能，平均码率节省 35% 以上，显著提升了有限资源环境下视频的编码质量和编码能力。

1 林巍峣 男 1980.12 教授 博士 上海交通大学 项目总负责人，创新点 1 的重要 贡献者，创新点 2、3 的主要贡 献者之一。 2 李成林 男 1985.2 副教授 博士 上海交通大学 项目主要完成人，创新点 4 的重 要贡献者。 3 高雪松 男 1978.11 教授 博士 青岛海信电子产业控 股股份有限公司 项目主要完成人，创新点 2、3 的主要贡献者。 4 熊红凯 男 1973.7 教授 博士 上海交通大学 项目主要完成人，创新点 3、4 的主要贡献者之一。 5 戴文睿 男 1983.5 副教授 博士 上海交通大学 项目主要完成人，创新点 3 的主 要贡献者之一。

点击查看