一、视频结构化的定义
原始的视频实际上是一种非结构化的数据,其中的目标只能直观的观看,不能直接被计算机读取和识别。视频结构化就是将视频这种非结构化的数据中的目标贴上相对应的标签,变为可通过某种条件进行搜索的结构化数据。视频结构化的叫法有很多,如视频目标属性解析、车辆结构化、行人结构化、 骑行结构化、人脸结构化、视频矢量分析、视频智能分析、视频内容检索分析、视频内容语义分析、视频机器学习应用等。
二、视频结构化的发展
视频智能处理经过了三个阶段,第一阶段是单兵设备,第二阶段是视频分布式处理,第三阶段就是视频结构化。前两阶段的特点是视频分析跟业务是耦合的,这在视频量小、业务相对简单时是适合的,但难以满足海量视频分析和日益复杂的业务需求。随着视频大数据时代的到来,需要一种解决方案,将视频智能分析与业务解耦,一个专注于海量视频的智能分析,一个专注于大数据的分析处理和用户的业务需求。
视频结构化发展又分为两个阶段:
第一阶段是目标识别与轨迹提取:
l 采用目标检测、特征提取、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹。
l 对目标对象进行分类为人、车、物、行为、事件等不同类别。
将视频进行结构化分析,视频会分析如下结果:
1)把目标做人、车、物分类,生成快照索引信息:
2)提取活动目标的轨迹信息
有了如上两类结果之后我们就可以做视频的搜索应用了。
1) 人、车、非机动车等分类搜索。
2) 轨迹搜索:
2.1)通过目标运动轨迹进行搜索:拌线、运动方向、运动区域等
2.2) 通过主颜色搜索目标
2.3)支持输入图片,通过目标外观进行相似度搜索
优点:
1) 多种搜索方式:类型搜索、轨迹搜索、颜色搜索、以图搜图。
2) 颜色矫正:克服不同摄像头的偏色问题
缺点:
所有厂商技术都是基于模式识别为基础的。
第二阶段是二次结构化:
l 进一步提取目标的高层特征包括目标颜色特征,分类特征,速度特征等,并把目标的轨迹信息以及高层特征形成高效的索引数据。
l 行人、人骑车、机动车结构化。
二次结构化可以说是有智的飞跃,在原有目标分类的基础上,可以做更多的工作,支持的属性更多,视频搜过的召回率、准确率得到大大的提升,具体我们看一下针对行人、人骑车、机动车的结构化。
行人结构化:
人骑车结构化:
汽车结构化:
优点:
1) 算法全面基于深度学习,搜索性能显著提升。
2) 可搜索的矢量特征值更多,从而提高召回率、准确率。
缺点:
数据量的问题,模型训练样本的数量。
三、视频结构化视频源的要求
3.1、天网、智慧城市、雪亮工程、3111工程等架设的摄像头都没有问题,如自已架设摄像头宜距地面3.5-5m,最大俯视角度不超过15度。
3.1、结构化视频目标像素要求:
原始的视频实际上是一种非结构化的数据,其中的目标只能直观的观看,不能直接被计算机读取和识别。视频结构化就是将视频这种非结构化的数据中的目标贴上相对应的标签,变为可通过某种条件进行搜索的结构化数据。视频结构化的叫法有很多,如视频目标属性解析、车辆结构化、行人结构化、 骑行结构化、人脸结构化、视频矢量分析、视频智能分析、视频内容检索分析、视频内容语义分析、视频机器学习应用等。
二、视频结构化的发展
视频智能处理经过了三个阶段,第一阶段是单兵设备,第二阶段是视频分布式处理,第三阶段就是视频结构化。前两阶段的特点是视频分析跟业务是耦合的,这在视频量小、业务相对简单时是适合的,但难以满足海量视频分析和日益复杂的业务需求。随着视频大数据时代的到来,需要一种解决方案,将视频智能分析与业务解耦,一个专注于海量视频的智能分析,一个专注于大数据的分析处理和用户的业务需求。
视频结构化发展又分为两个阶段:
第一阶段是目标识别与轨迹提取:
l 采用目标检测、特征提取、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹。
l 对目标对象进行分类为人、车、物、行为、事件等不同类别。
将视频进行结构化分析,视频会分析如下结果:
1)把目标做人、车、物分类,生成快照索引信息:
2)提取活动目标的轨迹信息
有了如上两类结果之后我们就可以做视频的搜索应用了。
1) 人、车、非机动车等分类搜索。
2) 轨迹搜索:
2.1)通过目标运动轨迹进行搜索:拌线、运动方向、运动区域等
2.2) 通过主颜色搜索目标
2.3)支持输入图片,通过目标外观进行相似度搜索
优点:
1) 多种搜索方式:类型搜索、轨迹搜索、颜色搜索、以图搜图。
2) 颜色矫正:克服不同摄像头的偏色问题
缺点:
所有厂商技术都是基于模式识别为基础的。
第二阶段是二次结构化:
l 进一步提取目标的高层特征包括目标颜色特征,分类特征,速度特征等,并把目标的轨迹信息以及高层特征形成高效的索引数据。
l 行人、人骑车、机动车结构化。
二次结构化可以说是有智的飞跃,在原有目标分类的基础上,可以做更多的工作,支持的属性更多,视频搜过的召回率、准确率得到大大的提升,具体我们看一下针对行人、人骑车、机动车的结构化。
行人结构化:
人骑车结构化:
汽车结构化:
优点:
1) 算法全面基于深度学习,搜索性能显著提升。
2) 可搜索的矢量特征值更多,从而提高召回率、准确率。
缺点:
数据量的问题,模型训练样本的数量。
三、视频结构化视频源的要求
3.1、天网、智慧城市、雪亮工程、3111工程等架设的摄像头都没有问题,如自已架设摄像头宜距地面3.5-5m,最大俯视角度不超过15度。
3.1、结构化视频目标像素要求: