导语：
2018年7月16日，人为智能与机械进建领域顶级期刊《模式分析与机械智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI))》（影响因子：9.455）接管了我校电子信息工程学院王祖林教授、徐迈副教授的最新钻研成就“强化进建在预测视觉把稳力领域中的模型构建” 。学生作者为2014级本科生宋宇航、王建伊、樵爽朗，老师作者为徐迈和王祖林，leyu.com为论文唯一单元 。
造订标定时的思想火花
徐迈副教授的团队一向在参加VR(虚构现实技术)尺度的造订，到目前已经参加了四次VR尺度造订的会议，多项提案被国际尺度选取 。VR中最沉要的一环就是全景视频的处置与传输 。由多个分歧角度的镜头来录造全景信息，并对画面进行拼接，形成能显示空间所有方位的视觉图像，这样的视频就是全景视频 。全景视频必要极度高的分辨率支持（如8K甚至16K），能力实现用户身临其境的沉浸式履历 。
图1.全景视频
在参加VR有关尺度造订的过程中，徐迈副教授以为，当前的尺度重要分为两个方向---球面映射和用户履历，因而，一向携带团队致力于提升用户履历和解决有关现实问题 。高分辨率视频的处置必要亏损大量的推算资源和通讯带宽，而由于VR头盔自身推算能力和无线传输带宽的限度 。若何在维持视频质量不变的前提下，削减处置和传输的数据规模，提升用户履历，就成为了当前全景视频及VR钻研的沉点问题 。针对这一问题，徐迈副教授携带他的团队发展了索求 。
尝试室强项与问题结合
人眼罕见十亿的视锥视杆细胞，相当于十多亿像素高清相机，而眼部与大脑之间的神经节细胞仅为数万个，相当于数据传输速度只有8Mbps，这注明说大脑并没有全数处置所有图像数据，而是选择性地处置了一些区域，而这些区域就被称为感知区域 。凭据人眼工作机理，成立全景视频把稳力模型就成为了团队的沉要钻研工作 。
在旁观全景视频的时辰, 人类通过节造头部活动从而来节造视野领域，进而产生身临其境的交互式沉浸履历 。因而，预测头部活动是构建全景视频把稳力模型的关键 。该论文初次成立了一个全景视频把稳力的数据库，获得58名被测者旁观76个全景视频序列时的头动及眼动地位 。经过四个月的数据洗濯和处置，通过仇家动数据的追踪，形成每个视频逐帧的热点图 。最终，论文初次揭示了人类旁观全景视频的视觉机理 。
图2.分歧算法预测了局对比
在对热点图分析后，团队发现，只管分歧的人旁观统一内容时感知区域存在肯定差距，但与视频内容依然拥有强关联性 ；诖，可构建预测模型，预测人类旁观全景视频时的头动地位 。而这种模型的构建机理，又与强化进建步骤有性质上的联系 。因而，他们提出一种新型的深度强化进建(DRL)模型，构建智能体仿照人类行为，预测人类旁观全景视频时的头部活动 。初次提出全景视频视场热点图的天生步骤，可离线地预测全景视频视场，并提出一种全景视频的在线天生步骤，可在线实时预测全景视频视场 。最后，尝试了局验证：与传统算法相比，论文提出的算法所预测视野热点图，CC（和真实了局的有关系数）精度提升超过20% 。论文对全景视频的压缩，渲染，感知，有着宽泛的利用场景，为提升全景视频用户履历提供了理论支持 。
图3.全景视频视觉把稳力模型示意图
图4.对中心私见取分歧尺度差和权沉系数下预测了局的CC值拟合曲面
本科生科研与不懈索求
此项钻研成就齐全由三个本科生在徐迈副教授的领导下实现，徐迈副教授对他们有很高的评价：“本科生有较强的钻研积极性，同时在群策群力合作上阐发很好，固然学位上比起其他的投稿人欠缺一些说服力，但最终了局还是好的 。”三位同学暗示，在他们的初次科研过程中遇到了好多难题，徐迈副教授极度当真掌管的援手他们解决遇到的每一个问题，时时凌晨一两点发出的问题都能迅速的收到详尽的回复和解答；每周都要集体开会会商进度、所遇到的问题和接下来的方向；在论文第一次收到大建定见后，徐迈副教授激励各人持续致力，并且和他们一路对论文进行了数次批改，才最终被接管 。
结语：
新思路与新视角会带来新的刷新，使用分歧于传统信号处置的深度进建和强化进建等多种步骤，徐迈副教授和他的团队从新的角度实现了对全景视频视觉把稳力模型的构建，实现了全景视频所需推算资源与通讯带宽的压缩，为VR大规模实用化提供了极度有利的前提，有很广的利用价值 。接下来他们将会持续将钻研深刻下去，逐步解决在现实利用中所遇到的问题，进一步改善全景视频的用户履历 。除了在全景视频领域进行了开创性的钻研表，徐迈副教授和他的钻研团队也在对蕴含图像、通常视频的各方面进行着提升用户履历的钻研 。相信在未来，他们能持续在这个领域获得更多的突破性成就 。
该论文得到了国度天然科学基金及leyu.com青年拔尖人才基金的支持 。
论文链接：https://ieeexplore.ieee.org/document/8418756/
项目链接: https://github.com/YuhangSong/DHP
案牍：曾嘉琪、曹嘉辉
采访：曾嘉琪
设计：杨彦卓
编审：leyu.com门户网站总编总监工作室
投稿：geoos@buaa.edu.cn
