(12)发明专利申请
(10)申请公布号 CN 112786189 A(43)申请公布日 2021.05.11
(21)申请号 202110008504.8(22)申请日 2021.01.05
(71)申请人 重庆邮电大学
地址 400065 重庆市南岸区黄桷垭崇文路2
号(72)发明人 蔡林沁 代宇涵 黄宇婷 (74)专利代理机构 北京同恒源知识产权代理有
限公司 11275
代理人 赵荣之(51)Int.Cl.
G16H 50/20(2018.01)G16H 50/80(2018.01)G06T 7/00(2017.01)G06K 9/32(2006.01)G06K 9/62(2006.01)
权利要求书3页 说明书7页 附图1页
G06N 3/04(2006.01)
CN 112786189 A(54)发明名称
一种基于深度学习的新冠肺炎智能诊断系统
(57)摘要
本发明涉及一种基于深度学习的新冠肺炎智能诊断系统，属于医学图像处理领域，包括控
存储单元和三维制单元、智能检测与诊断单元、
显示单元，控制单元用于输入和修改系统数据；智能检测与诊断单元用于对新冠肺炎病例进行预测；智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块。本发明采用结合了检测+去假阳性+预测三部分相结合的深度学习网络诊断系统输出诊断结果，解决了病灶过小不易检测、单个局部病灶信息过少以及误诊率过高等问题，解决了医学样本数量过小的问题，大大提升了诊断效率，有助于提高患者的治疗效率以及积累临床资料。
CN 112786189 A
权 利 要 求 书
1/3页
1.一种基于深度学习的新冠肺炎智能诊断系统，其特征在于：包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；
所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；
所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块；
所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID‑19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区；
所述病例预测模块用于出概率较高的候选区域及其概率通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测。
2.根据权利要求1所述的基于深度学习的新冠肺炎智能检测系统，其特征在于：所述数据预处理模块的运行步骤包括：
首先将CT图像灰度值转换成CT值，具体为：从DICOM文件中读取rescaleslope值和rescale intercept值，再通过CT值与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值，单位为HU；
然后进行像素重采样，将图像中的像素重采样到相同大小的体积；最后通过阈值法提取Hu值在[‑500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充操作，获得三维肺实质图像，发送给病灶区检测模块。
3.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述病灶区检测模块运行步骤包括：
通过引入注意力机制及位置参数的残差网络ARN，以及金字塔网络结构的检测网络得到三维肺实质图像的对应特征图；
通过区域生成网络得到一系列的候选区域以及对应的置信度；再通过候选层选出置信度高的候选区域作为下一步输入；最后固定候选区域的特征图大小并通过感兴趣区域池化层得到固定大小的特征图输入；
通过分类网络输出候选区域的分类情况：COVID‑19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
对主干网络使用改良后的迁移学习解决小样本数据集的训练问题。4.根据权利要求3所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述引入注意力机制及位置参数的残差网络ARN包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，使注意力区域对应到每一个像素点上，得到注意力图F(x)；接着把两个分支的输出结合起来H(x)＝(1+M(x))*F(x)；注意力图F(x)中每一个像
2
CN 112786189 A
权 利 要 求 书
2/3页
素点值相当于对于原始特征图上每一个像素点值的权重；
所述引入注意力机制及位置参数的残差网络ARN的主干网络结构包括：取ARN网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为ARN输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。
5.根据权利要求3所述的基于深度学习的新冠肺炎智能检测系统，其特征在于：所述区域生成网络对于特征图上的每一个点都生成对应原图上的9个锚点，包括三种面积，每种面积又对应三种比例；再对锚点分类预测与bounding box回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息；建议层先将对正锚点进行非极大值抑制NMS，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入；采用池化层输出统一大小的候选区域。
6.根据权利要求3所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：引入一个参数：距离胸膜边缘的相对距离d’加入到分类分支的最后一层全连接层中，作为判断新冠肺炎的检测依据；具体算法为：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d’＝d/x，将参数d’作为位置注意力机制加入到第二个全连接层中；
分类网络的结构如下：第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层；b_box回归框分支：全连接层输出修正后的预测边框信息；分类分支：第一层是全连接层，接着softmax层输出分类概率结果。7.根据权利要求3所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述对主干网络使用改良后的迁移学习解决小样本数据集的训练问题，具体包括：
采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图像数据集上进行微调的方法来解决小样本数据集的训练问题；针对普通肺部CT数据集图像与医学图像的部分差异性，首先优化改进预训练模型的全连接层结构，对预训练模型的全连接层进行改良，其中包含4层具有8个神经元的神经网络，并加入Dropout层以及L2正则化防止过拟合；
优化后的模型训练步骤包括：冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征；
对模型进行微调训练，使用随机梯度下降SGD进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征；由于微调层数的选择会影响模型分类性能，依次微调预训练模型的后两个模块。
8.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述去假阳性模块通过预测得到的病灶区位置信息，取其三维病灶区域，设置24*24、46*36以及48*48三种大小的三维病灶区域，以保证检测到不同大小结节；
将病灶区域作为输入，利用三维残差网络进行假阳性筛查；
3
CN 112786189 A
权 利 要 求 书
3/3页
手动调整病灶区检测模块的检测阈值以及去假阳性模块的检测阈值，满足对病例诊断结果的不同要求。
9.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述病例预测模块采用去噪贝叶斯模型方法得到单个病例患病概率Px(x∈i，j)i、j分别代表患新冠肺炎与普通肺炎的类别；
n代表第n个候选区域，滤掉置信度低的候选
区只保留top5；
得到对应的患病概率后，若Px均小于设定阈值，则该病例预测为无感染，否则，概率大的类别即为预测类别，从而得出总的预测结果。
10.根据权利要求1所述的基于深度学习的新冠肺炎智能检测系统，其特征在于：所述存储单元模块包括：
完成预测结果以及对应CT图像的存储、删除、修改、查找功能；存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息；
所述控制单元模块运行步骤包括：首先对系统模式进行设置，设定为训练模式或预测模式；所述训练模式下选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；所述预测模式下选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测；
所述三维显示单元模块包括：采用面绘制利用3D Slicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发一个用户界面并结合HoloLens创建一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化；在Unity界面添加组件，并对脚本进行更新和调整，所述组件包括交互手势、3D运动、方向拖拽及透明度可视化；通过组件的开发及手势的交互，将肺部及病灶区域放置在真实胸部位置。
4
CN 112786189 A
说 明 书
一种基于深度学习的新冠肺炎智能诊断系统
1/7页
技术领域
[0001]本发明属于医学图像处理领域，涉及一种基于深度学习的新冠肺炎智能诊断系统。
背景技术
[0002]全球性质的新冠肺炎(COVID‑19)传染病，因其传染性强、致病率高很快引起了医学专家们的广泛关注，而对患者准确地诊断有助于病情控制与恢复。目前检测新冠肺炎的方法主要有核酸检测与CT检测两种，但由于核酸检测存在试剂短缺、假阴性误诊率相对较高的问题，通常将CT检测作为主要诊断依据。而通常一个病例的CT包含200‑500张断层扫描图像，传统的医生阅片方式往往费时费力，且有些病灶体积微小肉眼不易分辨从而存在漏诊、误诊的情况。因此计算机辅助检测系统应运而生，通过基于深度学习的模型对患者的CT进行检测与预判，能有效提高医生的阅片速度以及检测准确率。发明内容
[0003]有鉴于此，本发明的目的在于提供一种包含了检测+去假阳性+预测三部分的深度学习的智能新冠肺炎检测系统，进一步提高新冠肺炎准确率与效率。[0004]为达到上述目的，本发明提供如下技术方案：[0005]一种基于深度学习的新冠肺炎智能诊断系统，包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；
[0006]所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；
[0007]所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块；
[0008]所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID‑19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
[0009]所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区；
[0010]所述病例预测模块用于出概率较高的候选区域及其概率通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测。[0011]进一步，所述数据预处理模块的运行步骤包括：[0012]首先将CT图像灰度值转换成CT值，具体为：从DICOM文件中读取rescaleslope值和rescale intercept值，再通过CT值与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值，单位为HU；
5
CN 112786189 A[0013]
说 明 书
2/7页
然后进行像素重采样，将图像中的像素重采样到相同大小的体积；
[0014]最后通过阈值法提取Hu值在[‑500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充操作，获得三维肺实质图像，发送给病灶区检测模块。[0015]进一步，病灶区检测模块运行步骤包括：
[0016]通过引入注意力机制及位置参数的残差网络ARN，以及金字塔网络结构的检测网络得到三维肺实质图像的对应特征图；
[0017]通过区域生成网络得到一系列的候选区域以及对应的置信度；再通过候选层选出置信度高的候选区域作为下一步输入；最后固定候选区域的特征图大小并通过感兴趣区域池化层得到固定大小的特征图输入；
[0018]通过分类网络输出候选区域的分类情况：COVID‑19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
[0019]对主干网络使用改良后的迁移学习解决小样本数据集的训练问题。[0020]更进一步，所述引入注意力机制及位置参数的残差网络ARN包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，使注意力区域对应到每一个像素点上，得到注意力图F(x)；接着把两个分支的输出结合起来H(x)＝(1+M(x))*F(x)；注意力图F(x)中每一个像素点值相当于对于原始特征图上每一个像素点值的权重；[0021]所述引入注意力机制及位置参数的残差网络ARN的主干网络结构包括：[0022]取ARN网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为ARN输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。[0023]进一步，所述区域生成网络对于特征图上的每一个点都生成对应原图上的9个锚点，包括三种面积，每种面积又对应三种比例；再对锚点分类预测与bounding box回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息；建议层先将对正锚点进行非极大值抑制NMS，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入；采用池化层输出统一大小的候选区域。[0024]进一步，引入一个参数：距离胸膜边缘的相对距离d’加入到分类分支的最后一层全连接层中，作为判断新冠肺炎的检测依据；具体算法为：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d’＝d/x，将参数d’作为位置注意力机制加入到第二个全连接层中。[0025]进一步，分类网络的结构如下：第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层；[0026]b_box回归框分支：全连接层输出修正后的预测边框信息；[0027]分类分支：第一层是全连接层，接着softmax层输出分类概率结果。[0028]进一步，所述对主干网络使用改良后的迁移学习解决小样本数据集的训练问题，具体包括：
[0029]采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图
6
CN 112786189 A
说 明 书
3/7页
像数据集上进行微调的方法来解决小样本数据集的训练问题；针对普通肺部CT数据集图像与医学图像的部分差异性，首先优化改进预训练模型的全连接层结构，对预训练模型的全连接层进行改良，其中包含4层具有8个神经元的神经网络，并加入Dropout层以及L2正则化防止过拟合；
[0030]优化后的模型训练步骤包括：[0031]冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征；
[0032]对模型进行微调训练，使用随机梯度下降SGD进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征；由于微调层数的选择会影响模型分类性能，依次微调预训练模型的后两个模块。[0033]进一步，所述去假阳性模块通过预测得到的病灶区位置信息，取其三维病灶区域，设置24*24、46*36以及48*48三种大小的三维病灶区域，以保证检测到不同大小结节；[0034]将病灶区域作为输入，利用三维残差网络进行假阳性筛查；
[0035]手动调整病灶区检测模块的检测阈值以及去假阳性模块的检测阈值，满足对病例诊断结果的不同要求。[0036]进一步，所述病例预测模块采用去噪贝叶斯模型方法得到单个病例患病概率Px(x∈i，j)i、j分别代表患新冠肺炎与普通肺炎的类别；
n代表第n个候选区
域，滤掉置信度低的候选区只保留top5；[0037]得到对应的患病概率后，若Px均小于设定阈值，则该病例预测为无感染，否则，概率大的类别即为预测类别，从而得出总的预测结果。[0038]进一步，存储单元模块包括：
[0039]完成预测结果以及对应CT图像的存储、删除、修改、查找功能。存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息。[0040]进一步，所述控制单元模块运行步骤包括：[0041]首先通过所述控制单元模块；对系统模式进行设置，可设定为“训练”或“预测”模式。训练模式下可选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；预测模式下可选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测。[0042]进一步，所述三维显示单元模块运行步骤包括：[0043]首先采用面绘制利用3D Slicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发了一个用户界面并结合HoloLens创建了一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化。在Unity界面添加了组件，并对脚本进行了更新和调整，以满足应用程序需要。这些组件包括交互手势、3D运动、方向拖拽及透明度可视化等。通过组件的开发及手势的交互，可将肺部及病灶区域放置在真实胸部位置，便于医生使用模型投影做外科手术的术前规划及术中指导。[0044]本发明的有益效果在于：本方案采用结合了检测+去假阳性+预测三部分相结合的深度学习网络诊断系统输出诊断结果，采用高质量的标注CT作为数据集对其进行训练，解
7
CN 112786189 A
说 明 书
4/7页
决了病灶过小不易检测、单个局部病灶信息过少以及误诊率过高等问题，同时在训练过程中采用了迁移学习，解决了医学样本数量过小的问题。能够作为医生阅片诊断的有效参考，大大提升诊断效率；集合了控制、检测、存储以及三维显示单元模块建立了一个功能较为完备的系统，有助于提高患者的治疗效率以及积累临床资料。[0045]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0046]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0047]图1为本发明所述诊断系统智能检测与诊断单元模块的结构示意图。[0048]图2为本发明所述诊断系统的结构示意图。
具体实施方式
[0049]以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0050]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0051]本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。[0052]如图2所示，本发明提供一种基于深度学习的新冠肺炎智能检测系统，包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；[0053]所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块。
8
CN 112786189 A[0054]
说 明 书
5/7页
在CT扫描图像上，不同的组织或成分对应不同的CT值，因此将灰度值转换成CT值
有助于得到目标组织或区域。首先从DICOM文件中读取rescaleslope值和rescale intercept值，再通过CT值(单位为HU)与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值。[0055]由于扫描机器、操作等等因素会导致CT扫描面像素对应的实际尺寸大小不一，不利于后续操作，因此使用同构采样，将所有像素重采样为1mm*1mm*1mm大小。[0056]通过阈值法提取Hu值在[‑500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充等等一系列操作获得肺实质。
[0057]所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID‑19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置。[0058]输入上述步骤所提取的三维肺实质图像，通过结合注意力残差网络(ARN)与特征金字塔网络结构的检测网络得到对应的特征图。
[0059]考虑到病灶区域(3‑33mm)往往占整个CT图像很小的一部分，在图像检测时更希望利用一个很小的感受野去处理图像中重要部分的信息。因此引入注意力残差网络(ARN)，其主要包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，这样注意力区域就能对应到每一个像素点上，得到注意力图F(x)。接着把两个分支的输出结合起来，H(x)＝(1+M(x))*F(x)。注意力图F(x)中每一个像素点值相当于对于原始特征图上每一个像素点值的权重，从而有效增强有意义特征，抑制无意义的信息。类似的，采用特征金字塔网络结构可有利于处理检测物体中大小差异明显的问题，利用图像金字塔的方式构建不同尺度的特征金字塔，融合了低层级以及高层级的特征图信息进行预测。[0060]进一步，主干网络结构如下：
[0061]取(ARN)网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为(ARN)输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。[0062]将不同特征图分别输入区域生成网络，该网络对于特征图上的每一个点都生成对应原图上的9个锚点(三种面积，每种面积又对应三种比例)，再对锚点分类预测与bounding box回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息.建议层先将对正锚点进行NMS(非极大值抑制)，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入。由于锚点大小不同，所生成的候选区域大小也不相同，不利于后续分类操作，所以采用了池化层输出统一大小的候选区域。[0063]由于新冠肺炎在CT图像上表现的特殊性，即：出现靠近胸膜病灶的病例患新冠肺炎的可能性更高。由此引入了一个参数：距离胸膜边缘的相对距离d'加入到分类分支的最后一层全连接层中，具体算法是：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d′＝d/x，将参数d'作为位置注意力机制加入到第二个全连接层中。
9
CN 112786189 A[0064]
说 明 书
6/7页
分类网络的结构如下：
[0065]第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层。[0066]b_box回归框分支：全连接层输出修正后的预测边框信息。[0067]分类分支：第一层是全连接层，接着softmax层输出分类概率结果。[0068]针对以上模型采用优化后的迁移学习法
[0069]由于医疗图像的特殊性导致训练样本较少，因此采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图像数据集上进行微调的方法来实现。针对普通肺部CT数据集图像与医学图像的部分差异性，本方案首先优化改进了预训练模型的全连接层结构。对预训练模型的全连接层进行改良，其中包含了4层具有8个神经元的神经网
有效地减少计算参数以及加快了训练速络，并加入了Dropout层以及L2正则化防止过拟合，
度。
[0070]优化后的模型训练步骤分为2步：[0071]冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征。
[0072]对模型进行微调训练，使用随机梯度下降(SGD)进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征。由于微调层数的选择会影响模型分类性能，本方案依次微调了预训练模型的后两个模块，本实施例中最终定为微调最后一个模块。[0073]所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区。
[0074]通过预测得到的病灶区位置信息，取其三维病灶区域。为了保证检测到不同大小结节，设置了24*24、46*36以及48*48三种大小。[0075]将病灶区域作为输入，利用三维残差网络进行假阳性筛查，提高准确率。[0076]特别地，为了满足医生对于病例诊断结果的不同要求，针对病灶区检测模块与去假阳性模块，采用了手动调整阈值法可达到理想效果。如：若想获得高灵敏度，则通过适当降低病灶区检测模块阈值、去假阳性模块阈值；若想获得高精度，则需要适当提高去假阳性模块阈值。在本实施例中，分别将其阈值设定为0.84与0.25可达到一个比较理想的效果。[0077]所述病例预测模块用于出概率较高的候选区域及其概率通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测。
[0078]考虑到一般预测结果会考虑到全局信息且单个病例可能会检测出多个病灶区域，因此为了进一步精确预测结果，本方案采用去噪贝叶斯模型方法得到单个病例患病概率Px(x∈i，j)i、j分别代表患新冠肺炎与普通肺炎的类别。对于某具体方法如下：
n代表第n个候选区域，此处滤掉置信度低的候选区只保留top5。
[0079]
得到了对应的患病概率过后，需要对其进一步计算从而得出总的预测结果，方法
如下：
[0080]
若Px均小于设定阈值(0.5)，则该病例预测为无感染。否则，概率大的类别即为预测类别。
10
CN 112786189 A[0081]
说 明 书
7/7页
所述存储单元模块用于病例存储，完成预测结果以及对应CT图像的存储、删除、修
改、查找功能。存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息。、[0082]所述控制单元模块运行步骤包括：[0083]首先通过所述控制单元模块；对系统模式进行设置，可设定为“训练”或“预测”模式。训练模式下可选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；预测模式下可选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测。
[0084]所述三维显示单元模块用于三维肺部及预测病灶展示，首先采用面绘制利用3D Slicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发了一个用户界面并结合HoloLens创建了一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化。在Unity界面添加了组件，并对脚本进行了更新和调整，以满足应用程序需要。这些组件包括交互手势、3D运动、方向拖拽及透明度可视化等。通过组件的开发及手势的交互，可将肺部及病灶区域放置在真实胸部位置，便于医生使用模型投影做外科手术的术前规划及术中指导。[0085]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
11
CN 112786189 A
说 明 书 附 图
1/1页
图1
图2
12
因篇幅问题不能全部显示，请点此查看更多更全内容