近日，明升体育大数据与计算机科学学院夏道勋教授作为通讯作者指导硕士研究生刘浩杰在视觉物联网领域国际SCI一区Top期刊《IEEE Internet of Things Journal》(2023年最新IF=10.238)在线发表题为“Visible-Thermal Person Reidentification in Visual Internet of Things with Random Gray Data Augmentation and A New Pooling Mechanism”的研究论文。该研究提出了一种新池化机制和随机灰度数据增强网络模型，为可见光-热红外跨模态行人再识别提供了高效的跨模态匹配算法。
可见光与热红外行人再识别(Visible-Thermal Person Re-identification, VTReID)是一种新兴的跨模态匹配问题，旨在视觉物联网环境下白天可见光模态和夜间热红外模态图像或视频数据中识别同一个行人。现有的前沿方法利用图像生成技术，试图生成跨模态行人图像，或者设计各种特征级约束条件对齐异构数据的特征分布。然而，多光谱相机不同成像过程引起的颜色差异问题仍然存在，导致跨模态特征表示不够理想。针对跨模态匹配任务，夏道勋教授团队提出了一种简单但非常有效的随机灰度数据增强算法。在一个给定的行人训练样本中，该算法随机选择一个矩形区域并将其转化为灰度图像数据，生成并融合各级可见光和灰度图数据，从而降低了过拟合风险，使得网络模型对行人样本颜色变化具有更好的鲁棒性。此外，本文还引入了一种软池化层的新池化机制，可以在简化激活图中保留更多的行人信息，使得网络模型可以学习到更具判别力的行人特征。本文还在SYSU-MM01和RegDB数据集上进行了广泛的实验验证，实验结果表明该算法取得了优异的性能，进一步提升了VTReID网络模型的检索性能。
该研究领域是明升体育云南省教育大数据应用技术工程实验室的重要研究方向之一，该成果得到了国家自然科学基金项目（62166008）和中央引导地方科技发展资金项目（QKZYD[2022]4054）的联合资助。
论文连接：http://ieeexplore.ieee.org/document/10004196
