近日，我院李玲玲教授团队硕士研究生王嘉炜的论文“A unified solution for replacing position embedding in Vision Transformer for object detection”被《Engineering Applications of Artificial Intelligence》(EAAI)期刊发表。该研究面向传统ViT模型依赖位置编码导致训练数据需求大、泛化能力受限的问题，提出了一种新的解决方案。

EAAI（Engineering Applications of Artificial Intelligence）是国际自动控制联合会（IFAC）旗下八大会刊之一，代表了智能控制技术领域的高水平研究成果，是人工智能工程应用领域的中科院一区期刊，其目标是促进人工智能在各种工程领域的应用和发展。

该研究采用大卷积核卷积操作替换全连接层内部矩阵相乘过程，提出了一种基于水平和垂直特征嵌入代替位置编码的无位置Transformer模型HV-SwinViT。该方法通过创新的自注意力机制和无位置编码设计，有效消除了位置嵌入在多样化视觉任务中的冗余信息干扰，显著提升了模型的适应性和鲁棒性，为图像分类、目标检测、语义分割等计算机视觉任务提供了一种更高效、更通用的基础网络架构。

图1.算法框架图

HV-SwinViT在三个通用数据集(包括大规模图像数据集，无人机航拍数据集，遥感数据集)中表现出了极具竞争力的性能。与当前领域最优模型相比，在大规模图像数据集COCO2017数据集上效果提升了0.6%，在遥感图像数据集AI-TOD中效果提升了1.9%，在无人机航拍数据集VisDrone中比针对于无人机航拍而设计的当前领域最优模型提升了1.24%。该模型已开源，开源网址：https://github.com/ZUA-CV2023/HV-SwinViT。

图2.算法直观效果图

这一成果是研究生个人才华和勤奋的结晶，也是学院与学校长期以来坚持高质量、创新型人才培养模式的写照。通过严谨的学术氛围、一流的师资队伍和完善的科研平台，为学生们提供成长的沃土，将培养一批又一批具有国际视野、创新精神和实践能力的优秀人才。