(12)发明专利申请
(10)申请公布号 CN 110522448 A(43)申请公布日 2019.12.03
(21)申请号 201910631316.3(22)申请日 2019.07.12
(71)申请人 东南大学
地址 210096 江苏省南京市玄武区四牌楼2
号(72)发明人 舒华忠 高舒雯 吴颖真 (74)专利代理机构 南京众联专利代理有限公司
32206
代理人 杜静静(51)Int.Cl.
A61B 5/055(2006.01)A61B 5/00(2006.01)A61B 5/16(2006.01)
权利要求书2页 说明书6页 附图3页
(54)发明名称
一种基于图卷积神经网络的脑网络分类方法
(57)摘要
本发明公开了一种基于图卷积神经网络的脑网络分类方法，包括以下步骤：首先，从大脑功能核磁共振图像中提取各个脑区的血氧合度依赖信号；其次，构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图；再次，将构建的脑图以及实际诊断标签输入到图卷积神经网络中进行特征学习以及模型训练。本发明用于脑网络分类。
CN 110522448 ACN 110522448 A
权 利 要 求 书
1/2页
1.一种基于图卷积神经网络的脑网络分类方法，其特征在于，包括以下步骤：步骤1，获取大脑功能核磁共振图像(fMRI)并对其进行预处理，从中提取各个脑区的血氧合度依赖(BOLD)信号，
步骤2，构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图，该数据结构可以用节点标签和二值化的邻接矩阵完全表示，并以邻接矩阵张量的方式进行存储；
步骤3，将步骤2中构建的脑图及其实际分类标签送入到图卷积神经网络(Graph-CNN)中进行特征学习以及分类诊断，图卷积神经网络由图卷积层、图嵌入池化层以及全连接层构成。
2.根据权利要求1所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，所述步骤1，获取大脑功能核磁共振图像(fMRI)并对其进行预处理，从中提取各个脑区的血氧合度依赖(BOLD)信号，具体包括：
1-1，所有的fMRI数据都使用静息态功能性数据处理辅助工具(DPARSF)2.3进阶版工具包进行预处理，对于每一个受试者，所拍摄的fMRI的前十帧都会被丢弃以达到磁饱和的稳定状态；
1-2，将预处理后的fMRI与大脑图谱进行映射可以得到各个大脑分区(L个ROIs)的fMRI，即L个大脑分区的血氧合度依赖信号(BOLD信号)的变化情况。
3.根据权利要求2所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，步骤2，构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图，具体包括：2-1，将步骤1-2中L个大脑分区的BOLD信号两两进行皮尔森相关性分析，得到一个L×L皮尔森相关性邻接矩阵，即生成脑网络连接矩阵，矩阵上元素表示各个分区之间的血氧浓度相关性系数：
其中，x＝[x1,x2,…,xn]与y＝[y1,y2,…,yn]表示要进行皮尔森相关性分析的两组信号，即任意两个脑区的BOLD信号，皮尔森相关分析得到的相关系数分布在[-1,+1]的区间内，负数表示负相关而正数表示正相关。越接近于1表示越相关，越接近于0表示越不相关；
2-2，对相关系数采取平方操作，将相关系数映射到[0,1]区间内，再进行阈值二值化处理，得到二值化的相关性邻接矩阵A(L×L)。阈值二值化是指将步骤2-1中的相关性邻接矩阵中元素rij大于阈值T的对应位置aij赋值为1，否则赋值为0，二值化方式表示如下：
其中，aij表示A上的元素，i,j＝1,2,…,L，T表示量化阈值。
2-3，依据步骤2-2中求得的二值化的邻接矩阵A计算节点标签。这里的节点标签采用节点入度信息Di(i＝1,2,…,L)进行表征，即将A中第i行的所有元素叠加：
2-4，以步骤2-3中计算到的节点标签为划分依据，对步骤2-2中求得的二值化的邻接矩阵A进行张量化操作得到邻接矩阵张量
2
(N表示节点标
CN 110522448 A
权 利 要 求 书
2/2页
签的特征数)，其中每一个切片An只编码脑图在一个邻接矩阵中的某一特定节点标签数值的特征。
4.根据权利要求3所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，步骤3，将步骤2中构建的脑图及其实际分类标签送入到图卷积神经网络(Graph-CNN)中进行特征学习以及分类诊断，具体如下：
3-1，采用图卷积对当前节点特征以及其相近节点特征的加权相加，目的是初步聚类相似节点，图卷积定义一个线性滤波器，用于对各个邻接矩阵做凸组合H≈h1A1+h2A2+…+hNAN，对于每个提取特征(共C种)都有一个对应的滤波器参数下：
则有图卷积如
其中，Vin和Vout为图卷积层的输入与输出，b为偏置；
3-2，采用图嵌入池化在每类顶点中选举出能够有效表征当前类别特征的代表顶点，通过池化操作缩减节点数为N′，输出为嵌入矩阵Vemb表达式如下：
3-3，经过几次图卷积和图嵌入池化操作，提取出高度总结的特征数据，再通过全连接层将这些高维数据以平铺的形式输入并进行特征的转化。经过一系列全连接层(输出层也是全连接层)完成最终的决策分类。即多个图卷积和图嵌入池化操作连接多个全连接层构成了网络结构。
5.根据权利要求1所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，所述步骤1-2中所使用的大脑图谱为自动解剖标签(AAL)图谱，该图谱总计90个大脑分区(另有26个小脑分区暂不纳入研究范围)，则有L＝90。
6.根据权利要求1所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，步骤2-2中量化阈值T取值为0.8。
7.根据权利要求1所述的一种基于图卷积神经网络的脑网络分类方法，其特征在于，步骤3-3中所使用的网络结构设置为CNN(32)-CNN(32)-GEP(16)-CNN(16)-GEP(4)-FC(16)-FC(2)，其中CNN表示图卷积层、GEP表示图嵌入池化、FC表示全连接层，括号内的数值表示通道数，末尾的FC层的通道数表示分类诊断的类别数目为2。
3
CN 110522448 A
说 明 书
一种基于图卷积神经网络的脑网络分类方法
1/6页
技术领域
[0001]本发明涉及一种基于图卷积神经网络的脑网络分类方法，属于数字图像技术领域。
背景技术
[0002]随着社会和科技的进一步发展，已经有越来越多的曾被认为不可医治的疾病被发现病因并随之提出相应的治疗方法。随着人们对自己的身体健康状况更加重视，对医疗技术方面也有了更高的要求，尤其现阶段，人们越来越关注脑疾病的医疗手段。因为人脑具有极其复杂的结构和功能，人们希望通过理解大脑的运转机制了解脑疾病的病理特征以及诊断方法，世界各国投入了大量的人力和物力进行研究，例如美国和欧盟分别投入38亿美元和10亿欧元，启动大脑研究计划。脑科学研究成果一方面将为人类更好地了解大脑、保护大脑、开发大脑潜能等做出重要贡献，同时也有助于加深对抑郁症(Major Depressive Disorder，MDD)，阿尔茨海默病(Alzheimer's disease,AD) 及其早期阶段即轻度认知功能障碍(Mild cognitive impairment,MCI)，帕金森氏症 (Parkinson's disease,PD)等脑疾病的理解，并且为这一系列神经性疾病找到早期诊断和治疗的新方法。因此，研究如何进行脑网络分类，无论是对于临床神经学研究还是人的健康都具有非常重要的意义。
[0003]功能性磁共振成像(fMRI)是一种常见的无创的描述大脑结构以及连接特征的医学影像。fMRI可以用来探索大脑在静息状态下的工作机理和规律，其主要反映的是大脑神经网络的功能性连接特征。其成像原理是通过磁振造影来捕捉神经元活动下的血液动力变化，获取并记录大脑各个体素点的血氧合度依赖信号(BOLD信号)，用以间接反映活体静息状态下的神经元活动情况。于是，可以通过fMRI获取脑功能网络连接矩阵来观察分析、研究常人与患者脑内各个区域之间是否存在显著的功能连接性差异，以此来辅助诊断。[0004]目前临床上的诊断方式易受医生经验和水平等因素的影响，诊断结果较为主观且可能发生误诊的情况。近年来，已有大量的研究从大脑医学影像的角度寻找疾病的生物学诊断指标。目前常用的方法是直接采用不同脑区的功能连接权值作为特征来进行学习与分析，但这一特征忽略了脑网络的拓扑结构信息导致诊断精度不高。发明内容
[0005]近年来，已有大量的研究从大脑医学影像的角度寻找疾病的生物学诊断指标。目前常用的方法是直接采用不同脑区的功能连接权值作为特征来进行学习与分析，但这一特征忽略了脑网络的拓扑结构信息导致诊断精度不高。本发明为脑网络分类，提供一种从fMRI中提取出脑网络的拓扑结构(脑图)作为输入特征，并基于图卷积神经网络的脑网络分类方法。
[0006]本发明为解决上述技术问题采用以下技术方案：
[0007]本发明提供一种基于图卷积神经网络的脑网络分类方法，包括以下步骤：[0008]步骤1，获取大脑功能核磁共振图像(fMRI)并对其进行预处理，从中提取各个脑区
4
CN 110522448 A
说 明 书
2/6页
的血氧合度依赖(BOLD)信号，具体包括：[0009]1-1，所有的fMRI数据都使用静息态功能性数据处理辅助工具(DPARSF)2.3 进阶版工具包进行预处理，对于每一个受试者，所拍摄的fMRI的前十帧都会被丢弃以达到磁饱和的稳定状态。[0010]1-2，将预处理后的fMRI与大脑图谱进行映射可以得到各个大脑分区(L个ROIs) 的fMRI，即L个大脑分区的血氧合度依赖信号(BOLD信号)的变化情况；[0011]步骤2，构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图，该数据结构可以用节点标签和二值化的邻接矩阵
完全表示，并以邻接矩阵张量的方式进行存储。
具体包括：[0012]2-1，将步骤1-2中L个大脑分区的BOLD信号两两进行皮尔森相关性分析，得到一个L×L皮尔森相关性邻接矩阵，即生成脑网络连接矩阵，矩阵上元素表示各个分区之间的血氧浓度相关性系数：
[0013]
其中，x＝[x1,x2,…,xn]与y＝[y1,y2,…,yn]表示要进行皮尔森相关性分析的两组
信号，即任意两个脑区的BOLD信号。皮尔森相关分析得到的相关系数分布在 [-1,+1]的区间内，负数表示负相关而正数表示正相关。越接近于1表示越相关，越接近于0表示越不相关；
[0015]2-2，对相关系数采取平方操作，将相关系数映射到[0,1]区间内，再进行阈值二值化处理，得到二值化的相关性邻接矩阵A(L×L)。阈值二值化是指将步骤2-1中的相关性邻接矩阵中元素rij大于阈值T的对应位置aij赋值为1，否则赋值为0，二值化方式表示如下：
[0016][0017]
[0014]
其中，aij表示A上的元素，i,j＝1,2,…,L，T表示量化阈值。[0018]2-3，依据步骤2-2中求得的二值化的邻接矩阵A计算节点标签。这里的节点标签采用节点入度信息Di(i＝1,2,…,L)进行表征，即将A中第i行的所有元素叠加：
[0019][0020]
2-4，以步骤2-3中计算到的节点标签为划分依据，对步骤2-2中求得的二值化的邻
(N表示节点标签
接矩阵A进行张量化操作得到邻接矩阵张量
的特征数)，其中每一个切片An只编码脑图在一个邻接矩阵中的某一特定节点标签数值的特征。
[0021]步骤3，将步骤2中构建的脑图及其实际分类标签送入到图卷积神经网络 (Graph-CNN)中进行特征学习以及分类诊断。图卷积神经网络由图卷积层、图嵌入池化层以及全连接层构成。[0022]3-1，采用图卷积对当前节点特征以及其相近节点特征的加权相加，目的是初步聚类相似节点，图卷积定义一个线性滤波器，用于对各个邻接矩阵做凸组合 H≈h1A1+h2A2+…+hNAN，对于每个提取特征(共C种)都有一个对应的滤波器参数
5
则有图
CN 110522448 A
说 明 书
3/6页
卷积如下：
[0023]
其中，Vin和Vout为图卷积层的输入与输出，b为偏置；
[0025]3-2，采用图嵌入池化在每类顶点中选举出能够有效表征当前类别特征的代表顶点。通过池化操作缩减节点数为N′，输出为嵌入矩阵Vemb表达式如下：
[0026]
[0024]
3-3，经过几次图卷积和图嵌入池化操作，提取出高度总结的特征数据。再通过全连接层将这些高维数据以平铺的形式输入并进行特征的转化。经过一系列全连接层 (输出层也是全连接层)完成最终的决策分类。即多个图卷积和图嵌入池化操作连接多个全连接层构成了网络结构。
[0028]作为本发明的进一步技术方案，步骤1-2中所使用的大脑图谱为自动解剖标签 (AAL)图谱，该图谱总计90个大脑分区(另有26个小脑分区暂不纳入研究范围)，则有L＝90。[0029]作为本发明的进一步技术方案，步骤2-2中量化阈值T取值为0.8。[0030]作为本发明的进一步技术方案，步骤3-3中所使用的网络结构设置为 CNN(32)-CNN(32)-GEP(16)-CNN(16)-GEP(4)-FC(16)-FC(2)，其中CNN表示图卷积层、GEP表示图嵌入池化、FC表示全连接层，括号内的数值表示通道数，末尾的FC 层的通道数表示分类诊断的类别数目为2。
[0031]本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明公开了一种基于图卷积神经网络的脑网络分类方法，实现了模型方法和脑网络分类上的两点创新，本文创新性地从fMRI中提取出脑网络的拓扑结构(脑图)作为输入特征，基于图卷积神经网络进行特征提取和脑网络分类，本发明能较好地应用于脑网络分类，具有参数相对较少，学习数据特征损失更小、诊断结果准确率更高、灵敏度更高、特异性更高，且本发明能够较好的区分不同类别的样本特性，指明不同类别样本间差异较大的部分，有助于解释病理机制。附图说明
[0032]图1为本发明的方法流程图。
[0033]图2为本发明的实施流程示意图。
[0034]图3为脑图的邻接矩阵张量存储方式示意。
[0035][0036]
[0027]
图4为脑图数据卷积池化过程示意。
图5为本发明与常用分类诊断方法的准确率、灵敏度、特异性比较，实验采用5 折
交叉验证方式。
具体实施方式
[0037]下面结合附图对本发明的技术方案做进一步的详细说明：[0038]本发明提供一种基于图卷积神经网络的脑网络分类方法，如图1和2所示，首先获取fMRI数据、完成脑区BOLD信号提取；然后构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图；最后将构建的脑图以及实际诊断标签输入到Graph-CNN 中进行特征学习以及模型训练。
6
CN 110522448 A[0039]
说 明 书
4/6页
首先，本发明提供一种基于图卷积神经网络的脑网络分类方法，包括以下步骤：
[0040]步骤1，获取大脑功能核磁共振图像(fMRI)并对其进行预处理，从中提取各个脑区的血氧合度依赖(BOLD)信号，具体包括：[0041](1-1)所有的fMRI数据都使用静息态功能性数据处理辅助工具(DPARSF)2.3 进阶版工具包进行预处理，对于每一个受试者，所拍摄的fMRI的前十帧都会被丢弃以达到磁饱和的稳定状态；[0042](1-2)将预处理后的fMRI与大脑图谱进行映射可以得到各个大脑分区(L个 ROIs)的fMRI，即L个大脑分区的血氧合度依赖信号(BOLD信号)的变化情况，所使用的大脑图谱为自动解剖标签(AAL)图谱，该图谱总计90个大脑分区(另有 26个小脑分区暂不纳入研究范围)，则有L＝90；[0043]步骤2，构建能够反映大脑分区之间功能性连接拓扑结构特征的脑图，该数据结构可以用节点标签和二值化的邻接矩阵完全表示，并以邻接矩阵张量的方式进行存储。具体包括：[0044](2-1)对步骤(1-2)中L个脑区的BOLD信号进行皮尔森相关性分析生成L×L皮尔森相关性邻接矩阵，即脑功能网络连接矩阵，矩阵上元素表示各个分区之间的血氧浓度相关性系数：
[0045]
其中，x＝[x1,x2,…,xn]与y＝[y1,y2,…,yn]表示要进行皮尔森相关性分析的两组
信号，即任意两个脑区的BOLD信号。皮尔森相关分析得到的相关系数分布在 [-1,+1]的区间内，负数表示负相关而正数表示正相关。越接近于1表示越相关，越接近于0表示越不相关；[0047](2-2)采用阈值量化实现对脑功能网络连接矩阵的二值化处理。对相关系数采取平方操作，将相关系数映射到[0,1]区间内，再进行阈值二值化处理，得到二值化的相关性邻接矩阵
阈值二值化是指将步骤2-1中的相关性邻接矩阵中元素rij大于阈值T
的对应位置aij赋值为1，否则赋值为0，二值化方式表示如下：
[0048][0049]
[0046]
其中，aij表示二值化的邻接矩阵A上的元素，i,j＝1,2,…,L。量化阈值T取值为
0.8。
[0050]
(2-3)设置节点标签。依据步骤2-2中求得的二值化的邻接矩阵A计算节点标签。这里的节点标签采用节点入度信息Di(i＝1,2,…,L)进行表征，即将A中第i行的所有元素叠加：
[0051][0052]
(2-4)按照步骤完成对放映脑图拓扑结构的邻接矩阵张量的存储。以步骤2-3 中
计算到的节点标签为划分依据，对步骤2-2中求得的二值化的邻接矩阵A进行张量化操作得到邻接矩阵张量
7
(N表示节点标签的特征数)，其中每一个切片
CN 110522448 A
说 明 书
5/6页
An只编码脑图在一个邻接矩阵中的某一特定节点标签数值的特征。以图3为例，假设当前脑图中包含有6个大脑分区节点。量化处理操作中若是节点与其余节点之间存在连接，节点间的边缘标签则会被赋值为1，无连接则赋值为0。如编号为2的节点与编号为4,5,6的节点直接都存在连接，于是2号节点的节点标签则被赋值为3，即表示当前节点存在三个节点与之存在连接。于是在脑图中节点标签存在三种取值的可能{1,2,3}，此时C＝3该脑图的存储矩阵(邻接矩阵张量)的维度为3×6×6。[0053]步骤3：最后，将步骤2中构建的脑图及其实际分类标签送入到图卷积神经网络 (Graph-CNN)中进行特征学习以及分类诊断。图卷积神经网络由图卷积层、图嵌入池化层以及全连接层构成。本发明的网络结构设置为CNN(32)-CNN(32)-GEP(16)- CNN(16)-GEP(4)-FC(16)-FC(2)，其中CNN表示图卷积层、GEP表示图嵌入池化、 FC表示全连接层，括号内的数值表示通道数，末尾的FC层的通道数表示分类诊断的类别数目为2。[0054](3-1)采用图卷积对当前节点特征以及其相近节点特征的加权相加，目的是初步聚类相似节点。图卷积定义一个线性滤波器，用于对各个邻接矩阵做凸组合 H≈h1A1+h2A2+…+hNAN。对于每个提取特征(共C种)都有一个对应的滤波器参数图卷积如下：
[0055]
则有
其中，Vin和Vout为图卷积层的输入与输出，b为偏置。[0057](3-2)采用图嵌入池化在每类顶点中选举出能够有效表征当前类别特征的代表顶点。通过池化操作缩减节点数为N′，输出为嵌入矩阵Vemb表达式如下：
[0058]
[0056]
(3-3)经过几次图卷积和图嵌入池化操作，提取出高度总结的特征数据。再通过全连接层将这些高维数据以平铺的形式输入并进行特征的转化。经过一系列全连接层(输出层也是全连接层)完成最终的决策分类。
[0060]本发明实现了模型方法和脑网络分类上的两点创新。在模型方法上，本文创新性地从大脑功能性核磁共振图像(fMRI)中提取出脑网络的拓扑结构(脑图)作为输入特征，基于图卷积神经网络(Graph-CNN)进行特征提取和脑网络分类。[0061]应用实施例：
[0062]下面以东南大学附属中大医院提供的132例数据为例，来说明本发明的基于图卷积神经网络的抑郁症分类诊断方法。数据集包含50例正常对照(HC)与82例抑郁症患者(MDD)。抑郁症患者又可以细分为两类：(1)药物有效(RD)，共42例；(2) 药物无效(NRD)，共40例。所有受试者均在该医院接受西门子3T高分辨MRI扫描 (均匀鸟笼式线圈)。受试者平躺、头部紧贴地用皮带和泡沫垫固定尽可能减少头部运动。在扫描过程中，所有的受试者都被要求闭上眼睛、放松保持清醒不去想任何事情。高分辨率三维T1加权图像通过磁化准备快速梯度回波序列获得，采用的参数具体如下：重复时间(TR)＝1900毫秒(ms)，回波时间(TE)＝2.48ms，翻转角度 (FA)＝9°，采集矩阵＝256×256,视野(FOV)＝250×250平方毫米(mm2)，厚度＝1.0毫米(mm)，间隙＝0mm，176片。八分钟静息态功能磁共振成像(rs-fMRI)
8
[0059]
CN 110522448 A
说 明 书
6/6页
的采集参数设置如下：TR＝2000ms，TE＝25ms，FA＝90°，采集矩阵＝64×64， FOV＝240×240mm2；厚度＝3mm，间隙＝0mm，36个轴向切片，240卷，3.75×3.75 mm2平行于前后连合线的平面分辨率。
[0063]实验条件：现选取一台计算机进行实验，该计算机的配置有英特尔处理器 (3.4GHz)和16GB随机存取存储器，64位操作系统。本发明基于图卷积神经网络的抑郁症分类诊断模型由脑区信号提取、脑拓扑图构建与图卷积神经网络三大模块构成。脑区信号提取模块依据大脑图谱映射实现全脑fMRI到各分区BOLD信号的转换，使用m语言编写、MATLAB编译；脑拓扑图构建模块用以构建脑图数据，实现量化的相关性邻接矩阵以及节点标签求解，使用m语言编写、MATLAB编译；图卷积神经网络模块采用图卷积、先验池化方式对脑图进行特征分析，并通过全连接层实现模式判别，使用Python编写、Pycharm编译。[0064]图5为本方法与目前常用的疾病分类算法的对比实验结果，具体包括准确率、灵敏度、特异性分析。从表中可以看出，在相同比例的交叉检验方式(5-fold)下，本文提出的基于图卷积神经网络的方法无论是是在疾病诊断还是疗效预测方面都具有更优的灵敏度和特异性，即样本预测类别与实际类别的重合率最高。[0065]以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
9
CN 110522448 A
说 明 书 附 图
1/3页
图1
10
CN 110522448 A
说 明 书 附 图
2/3页
图2
11
CN 110522448 A
说 明 书 附 图
3/3页
图3
图4
图5
12
因篇幅问题不能全部显示，请点此查看更多更全内容