近日，学院包立君副教授团队与中国工程物理研究院流体物理研究所合作，在应用人工智能技术研究高速瞬态三维粒子场表征领域取得新进展，相关工作以“A primary-auxiliary coupled neural network for 3D holographic particle field characterization”为题发表在国际电气与电子工程师协会顶级会刊《IEEE Transactions on Industrial Informatics》, IF 10.215，JCR一区，TOP期刊。

粒子场精确测量是许多领域都需要面对的问题，动态粒子场的瞬态性和随机性对测量提出更大的挑战。高能高速冲击下的材料动态响应研究中，粒子尺寸可能分布在亚微米甚至纳米量级，粒子速度可达km/s量级，粒子尺寸和密度分布不均匀，这要求粒子诊断技术需具备超高的空间分辨率和超快的时间分辨能力。另一方面，高能冲击波实验的成像场景复杂，导致其光学全息再现的图像信噪比欠佳，粒子和背景对比度低，且受到严重的散斑和散射噪声、孪生像等伪影的干扰。如何从粒子场的三维图像中准确、快速地识别出粒子，判定粒子聚焦位置，计算粒子有效面积，是目前工业测量及光学成像中亟待解决的难题。

本研究所用三维粒子场图像数据由中国工程物理研究院流体物理研究所提供，包括高能激光冲击铝靶实验和高马赫激波液滴破碎实验。全息粒子场成像数据中，不同类型粒子的各种特性差异明显，样本量比例不均衡，即训练数据中数量较多且易于识别的中粒子和大粒子能够被更好地学习，而数据中占小比例的、尺寸小、特征不明显的微粒子经常被忽略。结构简单的通用型网络难以实现跨尺度粒子的全面精准识别。

受集成学习方法的启发，研究团队提出一种更适合跨尺度粒子场检测的主辅耦合三维卷积网络PANet。我们将全息粒子场测量划分为面向中大型粒子和微粒子这样两个并行任务模块。主要网络支路用于完成中大型粒子检测，在此基础上，添加辅助网络支路，弥补主网络对微粒子检测能力的不足。主网络与辅助网络间采用耦合结构实现特征信息的传递与共享，提高网络特征利用率的同时达成辅助网络的轻量化设计。主辅网络的训练采取分步式交替进行，以实现功能上的区分和互补，协同完成跨尺度粒子的全面识别。考虑到粒子全息像包含三维特征，但不同维度特征的复杂度不同，研究团队设计出专用的多尺度卷积模块，在同一层卷积中使用1×1×3、3×3×1和3×3×3三种不同的卷积核。其中1×1×3的卷积核用以提取粒子轴向的聚焦特征，3×3×1的卷积核用以提取粒子图像的复杂形态特征，3×3×3的卷积核用来同时学习三个维度的特征，防止信息丢失。多尺度卷积模块可有效降低网络参数量和计算量，提高特征提取效率，获得更好的网络性能。

鉴于工业测量通常难以获得高速动态粒子场的groundtruth，而采用人工标注得到的粒子坐标信息可能存在不充分、不准确的问题。为降低标签数据潜在不足给网络模型带来的影响，研究团队综合正负样本量的平衡与标签数据敏感性两个因素，设计出一种对异常值不敏感的损失函数，并利用半监督学习进行网络训练。实验结果表明，PANet能够实现三维粒子场中跨尺度粒子准确快速的识别、定位和分割，识别率达到93%，聚焦层定位误差±50μm，识别粒子尺寸可到2×2像素。此外，研究团队采用python语言开发出集成PANet网络的粒子场判读软件，可快速便捷地实现三维粒子场的定位测量、查询浏览、人工修正和结果保存。

该论文的第一完成单位是厦门大学，包立君副教授为通讯作者，其指导的硕士研究生赵秋阳为第一作者，该项工作得到了国家自然科学基金(62071405)、福建省自然科学基金(2019J01047)、中国工程物理研究院横向课题(XDHT2019298A)的资助。

全文链接：https://ieeexplore.ieee.org/document/9714148

（图文：包立君课题组）