>> 您的位置:首页 > 技术与创新 > 其他 > 正文
SVAC芯片在编解码算法中ROI的边界效应研究
2014/1/20 14:12:00      来源:《中国安防》    作者:刘丽艳 赵振涛
SVAC标准是我国第一个旨在解决安全防范监控要求的行业标准,SVAC标准的颁布解决了监控视音频编码面临的实际问题,是符合我国安防监控应用需要、具有我国自主知识产权的视音频编解码标准,在推进其标准化的过程中需定量地对比研究SVAC和其他视频编解码标准以及其各参数对图像质量的影响。SVAC重要功能之一的ROI功能可在保证感兴趣区域内视频质量不降低的情况下最大限度地减小码率,但是如果忽略引入ROI带来的边界处图像质量的变化,就会给计算结果带来误差甚至结论性的错误。本文分析了SVAC编解码算法中ROI功能的边界效应及其对码率的影响,并提出了去除边界效应的研究与测试方法。


一、引言

安全防范与监控直接关系到国家安全、公共安全、国防建设等诸多要害领域,而且2012年全球产业规模已超过3000亿美元,发展前景被业界看好。我国拥有世界最大的安防监控市场,但长期以来,我国安防监控一直采用H.264MPEG-4等国外标准,核心技术和产品很大程度上依赖国外,信息安全存在隐患。

20101231日,中国国家标准化管理委员会正式发布了《安全防范监控数字视音频编解码技术标准》(Surveillance Video and Audio Coding,简称SVAC)。SVAC标准和SVAC芯片的推出,一方面可以解决目前视频监控系统中音视频编解码标准不统一导致的系统难以互联互通的问题,另一方面能够针对安防特殊应用提出相应的应对方案,解决目前视频监控领域只能采用广电标准而无法满足安防特殊需求的问题。如:视频图像的实时传输性、全天候24小时监控环境的适应性、场景视音频信息的忠实还原性、感兴趣区域ROIRegion of Interesting)变质量编码等。

图像和视频等多媒体数据中包含很多信息,ROI是指观察者比较感兴趣并且对其投入更多注意力的部分,对ROI进行重点分析,将会大大提高图像处理效率和精度。视频图像的ROI编码又分为unskipskip两种模式,unskip是指两个I帧之间的P帧或B帧中对ROI外的区域依然连续编码,skip是指两个I帧之


1   图像的ROI区域分布示意图

ROI外的区域不编码,只在I帧中编码。ROI 内通常比ROI 外具有更高的图像质量编码,一般认为skip模式比unskip模式可降低更多的码率,且ROI内图像质量没有损失。

由于ROI编码时ROI内外的图像质量不同,从视频编解码的宏块预测方法来讲,视频的预测和量化变换等算法过程一定会导致ROI边界的图像质量弱于ROI内部的图像质量,且随距离边界的远近呈现梯度式的影响。如果忽视此现象,则会对ROI编解码质量的科学研究、涉及到ROI边界区域时的公安取证及医学判断等带来误差甚至结论性的错误。

本文采用PQA600图像质量分析仪测试的DMOS值(差异平均主观评分)作为参考依据对图像质量进行评判。DMOS主观测试方案直接由视频质量观察人员同时对参考图像及测试图像进行打分,再对参考图像和测试图像的结果进行归一化(转换为0100),然后计算参考图像及测试图形之间的差值并求平均值,通过该平均值的分布来反映被测系统视频能力的好坏。PQA600采用了基于人类视觉系统的概念,提供了一整套可重复的、并与主观人眼视觉评估十分接近的客观图像质量测量。DMOS取值范围为0~100,值越小越好,分布范围与主观感觉的映射如表1所示。

1  DMOS评分标准

DMOS

主观感觉

020

2040

一般

40100

二、ROI编解码时边界的实验现象

1. 选取视频序列

为精简内容,本文以镜头跟踪移动物体的720p视频(8bit采样,4:2:0YUV,各200帧,帧率25f/s,只有一个ROI区域)为例进行说明,视频序列内容及相应的POI区域如图2所示。

   

               crew.yuv                           raven.yuv

   

bicyclists.yuv                        yacht.yuv

2  视频序列内容及相应的ROI区域示意图

2. ROI的坐标体系

ROIDMOS值时,PQA600要求坐标按照pixel像素点为单位,数值为相对于视频边界的像素点个数,如图3所示。


3  ROI边界坐标示意图

其中△x为调节ROI框时相对于上述设定的ROI框的四个方向向内缩的像素点个数,本文所选序列的ROI坐标如表2所示。

2  ROI区域的相对坐标 (单位:像素)

视频

left

right

top

bottom

720p

500

276

212

180

3. SVAC编解码


4   SVAC视频编码分类

如图4所示,SVAC编码分为打开ROI和关闭ROI两种模式。打开ROI时,分unskipskip两种模式;关闭ROI时,分为固定QP值(QP值是量化参数,QP值越小图像质量越好)和固定码率两种模式。为便于对比,本文以ROI区域内图像同样的QP值进行编解码,对选定的视频序列分别以固定QP值、unskipskip模式各自编码(ROI内部QP值为n,外部QP值为m),得到的码率数据见表3所示。

3  视频编码的码率

视频序列

SVAC编码码率(单位:kbps

8bit@4:2:0

固定QP

unskip

skip

720p

QP25

QPn =25

QPm=32

QPn =25

QPm=45

QPn =25

QPm=32

crew

4348.26

2879.52

2076.52

1843.66

raven

3177.65

2091.95

1491.42

1441.01

yacht

5557.10

2932.00

1429.68

1460.72

bicyclists

2850.04

1550.32

986.89

951.84

3说明ROI功能能够在保证ROI区域内图像质量不降低的情况下大大减小SVAC的码率,当QPnQPm一定时,skip模式下码率最小。


关闭ROI固定QP和打开ROIskip模式下ROI内的DMOS均值

关闭ROI固定QP和打开ROIskip模式下ROI内的DMOS均值如图5所示,对固定QPskip模式编解码后ROI内的图像测试DMOS值发现,skip模式下并不能保证ROI区域内整体图像(△x =0)质量不变,必须使得△x > 8才能得到接近于不使用ROI功能时QP25的图像质量。这说明skip模式下ROI边界处图像的DMOS值较差。

三、ROI边界相应的原理分析

视频编码时将一幅画面分割为若干slice(条带),slice内划分出宏块。SVACROI编码中将ROI内和ROI外分别作为独立的画面区域再分为不同的slice,帧内编码时slice之间不关联,帧间编码时可以关联。

1. 对于帧内编码

slice由连续的宏块组成,每个宏块包含16×16个正方形面积的像素。SVACI帧中的每个宏块都以帧内模式编码,编码过程对宏块进行DCT、量化和编码,预测时只利用相邻像素的相关性去除空间相关性,而不参考其他帧。


6  ROI左上角宏块分布示意图

ROI左上角宏块分布如图6所示,以宏块的Intra4*4亮度预测为例,打开ROI时帧内预测为:

直流预测模式:              ij=0123   

垂直预测模式:           

水平预测模式:           

子块i会在直流、垂直、水平、左下、右下预测模式中选择最优模式,其中,为预测系数。对于子块e,采用直流预测模式,由于上方和左边邻近像素都不在图像之内,所有预测值都设为128

关闭ROI时,对于所有ROI对应的区域均参照宏块i的平面预测模式。且SVAC使用标量量化器,对残差数据进行处理的量化和反量化过程为:

量化:        

反量化:      

其中DCT的正向变换后系数,是量化后系数,round )为四舍五入运算,Qstep是由QP值对应查表所得的量化步长。量化和反量化过程都有损失,且步长越大,量化值范围越小,压缩率越高,但反量化值与原始值就越近似。

由此可见,ROI内沿着边界由上到下、从左至右预测精度逐渐增加,残差信号逐渐减小,DCT变换时的非零系数的概率逐渐减小。同时,由于图像在垂直方向上有更强的高频分量,故较大的非零系数主要沿着左边缘分布,整个ROI区域的非零系数也呈现一种自左上角至右下角减小的梯度形式。

2. 对于帧间编码

       

7  skip模式下单向预测举例                8  unskip模式下单向预测举例

Skipunskip模式下单向预测举例如图7和图8所示,假设只有I帧和P帧,帧间预测为单向预测,对比skip模式和unskip模式,其关系如表4所示。

表4  对比skip模式和unskip模式的帧间预测关系

 

unskip

skip

P1

主要参考I

主要参考I

P2

主要参考P1

主要参考P1帧的ROI

 

可见在两个I帧之间对于P2帧以后的帧,skip模式相对于unskip模式会因为搜索域的减少而降低预测精度增加残差。对于unskip模式下,由量化公式知,ROI区域内外的QP差值越大,ROI边界内估计时预测残差越大。以此类推,帧间预测时的精度会从边界向内逐渐提高,而I帧的梯度变化也会叠加影响到P帧,所以误差依然趋向于集中在左上角。

与帧内预测不同的是,帧间预测时由于SVAC采用了运动矢量预测,如图9所示,预测E时主要选取子块ADBC等左侧和上边缘的运动矢量,且skip模式相对于unskip模式由于其参考帧的预测系数更小,因此ROI区域的左侧和上边缘的边界效应相对于ROI区域的右侧和下边缘处会更加明显。



运动矢量预测


10  unskip模式下QPm值不同时ROI内的DMOS均值

10所示为unskip模式下QPm值不同时ROI内的DMOS均值,unskip模式下编解码后ROI内边界处的图像质量损失很少,且QPm越小,损失越少。

因此,在设定码率相当的情况下可以寻求一个平衡,如果采用skip模式,要想得到理想的ROI区域,就要设定ROI区域比理想的坐标范围大,且ROI区域外不连续;想得到ROI区域外的连续图像而选用unskip模式,则ROI区域可设定为与理想的坐标范围一致,但要设较大的QPm值,即ROI区域外的图像质量较差。

3. 对码率的说明

根据码率失真理论,宏块尺寸确定时,对应的DCT变换时每个宏块有的系数也就确定了,如对于4×4宏块,DCT变换时每个宏块有384个系数(64×64:2:0),则每个宏块所需的比特数R为:


其中E|x|)是DCT系数绝对值的均值。在设定QP值的情况下,如果ROI的边界处DCT非零系数增加,则E|x|)增大,R增大,需要更多的码率。而对于平滑的图像内部,E|x|)是一个常数,QP越大,则宏块编码需要越少的码率,而某区域图像的总码率和该区域内的宏块数成正比。对每个I帧周期M中的I帧和(M-1)个P帧的视频图像来说:

(1)    对比打开ROI和关闭ROI,设QPn=QPm,有:

对于I帧:      

对于P帧:      

总码率:       

(2)    对比打开ROI unskip,当QPn相同, QPm不同时,有:

对于I帧:       

对于P帧:       

总码率:         

(3)    对比打开ROI skipunskip,设,有:

对于I帧:         

对于IROI外: 

对于PROI内: 

对于PROI外: 

skip时总码率:   

unskip时总码率: 

由于ROI的尺寸,决定了其占整图像的宏块比,也决定了ROI边界的宏块数,所以,时不能确定之间的大小关系,即,不能确定总码率之间的关系。如表2所示,此时虽然skip模式下ROI区域外只有I帧编码,但整体的码率和unskipQPm=45的码率相当。

四、小结

本文分别从帧内预测和帧间预测的角度说明了SVACROI边界效应的存在,并从其对码率的影响的角度推理出ROI的应用特点。采用ROI时主要是关注码率的降低,通常采用的skip 模式是通过省略ROI外的码率来降低总码率,但此时边界效应比较明显,对于ROI算法研究、医学诊断、公安破案分析等重要场合,需注意排除边界处△x 10甚至20以内的数据。而且,此时ROI外的图像呈现跳跃性,给整个画面的连续性判断带来干扰。unskip模式下可通过ROI区域外的QP值增加来降低码率,虽然对于ROI外区域的图像质量有损失,但可获得完整画面的连续视频,且对边界效应均有较明显的改善,边界处最多只需排除△x4以内的数据。

进一步地,还可以把ROI边界处四周的△x设为不同的像素值,甚至通过分别对边界进行不同权重的加权来进行更加精确的研究。实验发现,对于全画面编码的图像质量分析,采样去除图像四周的边界效应的方法同样会带来极大的帮助。同时,业界需要尽快推出稳定可靠、性价比高的SVAC芯片和系列产品,使SVAC标准逐渐形成产业,使其在国际安防监控领域占有一席之地。

 

 

参考文献

1毕厚杰,王健. 新一代视频压缩编码标准——H.264/AVC(第二版).  北京:人民邮电出版社, 200911

2安全防范监控数字视音频编解码技术要求(GB/T 25724----2010.北京:中国标准出版社, 20113

3刘峰. 视频图像编码技术及国际标准. 北京:北京邮电大学出版社, 20068

4朱磊. JPEG2000中感兴趣区域的编码方法[ J ]. 计算机与信息技术, 200711

编辑:张宗蒿
注:本文版权归《中国安防》杂志社和《中国安防》杂志网所有,任何媒体或个人未经书面授权严禁部分或全文转载, 违者将严厉追究法律责任。更多详情请订阅《中国安防》杂志。