文献类型：期刊文献

中文题名：多视角数据融合的特征平衡YOLOv3行人检测研究

英文题名：Research on multi-view data fusion and balanced YOLOv3 for pedestrian detection

作者：陈丽[1];马楠[1,2];逄桂林[3];高跃[4];李佳洪[1,2];张国平[1];吴祉璇[1];姚永强[1]

第一作者：陈丽

机构：[1]北京联合大学北京市信息服务工程重点实验室,北京100101;[2]北京联合大学机器人学院,北京100101;[3]北京交通大学计算机与信息技术学院,北京100044;[4]清华大学软件学院,北京100085

第一机构：北京联合大学北京市信息服务工程重点实验室

年份：2021

卷号：16

期号：1

起止页码：57-65

中文期刊名：智能系统学报

外文期刊名：CAAI Transactions on Intelligent Systems

收录：CSTPCD;;北大核心:【北大核心2020】；CSCD:【CSCD2021_2022】；

基金：国家自然科学基金项目(61871038,61931012,6183034);军委装备发展部共性预研计划项目(41412040302);北京联合大学“人才强校优选计划”领军计划(BPHR2020AZ02);北京联合大学研究生科研创新资助项目(YZ2020K001)。

语种：中文

中文关键词：多视数据;自监督学习;特征点匹配;特征融合;YOLOv3网络;平衡特征;复杂场景;行人检测

外文关键词：multi-view data;self-supervised learning;feature point matching;feature fusion;YOLOv3 network;balanced feature;complex scene;pedestrian detection

摘要：针对复杂场景下行人发生遮挡检测困难以及远距离行人检测精确度低的问题,本文提出一种多视角数据融合的特征平衡YOLOv3行人检测模型(MVBYOLO),包括2部分:自监督学习的多视角特征点融合模型(Self-MVFM)和特征平衡YOLOv3网络(BYOLO)。Self-MVFM对输入的2个及以上的视角数据进行自监督学习特征,通过特征点的匹配实现多视角信息融合,在融合时使用加权平滑算法解决产生的色差问题;BYOLO使用相同分辨率融合高层语义特征和低层细节特征,得到平衡的语义增强多层级特征,提高复杂场景下车辆前方行人检测的精确度。为了验证所提出方法的有效性,在VOC数据集上进行对比实验,最终AP值达到80.14%。与原YOLOv3网络相比,本文提出的MVBYOLO模型精度提高了2.89%。
Because of the occlusion and low accuracy of long-distance detection,pedestrian detection in complex scenes is difficult.Therefore,a pedestrian detection method based on multi-view data fusion and balanced YOLOv3(MVBYOLO)is proposed,including the self-supervised network for multi-view fusion model(Self-MVFM)and balanced YOLOv3 network(BYOLO).Self-MVFM fuses two or more input perspective data through a self-supervised network and incorporates a weighted smoothing algorithm to solve the color difference problem during the fusion;BYOLO uses the same resolution to fuse high-and low-level semantic features to obtain balanced semantic information,thereby enhancing multi-level features and improving the accuracy of pedestrian detection in front of vehicles in complex scenes.A comparative experiment is conducted on the VOC dataset to verify the effectiveness of the proposed method.The final AP value reaches 80.14%.The experimental results indicate that compared with the original YOLOv3 network,the accuracy of the MVBYOLO is increased by 2.89%.