引用本文： 郭振, 陈凌智, 王立龙, 吕传峰, 谢国彤, 高艳, 李君. 基于深度卷积神经网络的眼底豹纹分割量化及应用. 中华眼底病杂志, 2022, 38(2): 114-119. doi: 10.3760/cma.j.cn511434-20220110-00021 复制
版权信息： ©四川大学华西医院华西期刊社《中华眼底病杂志》版权所有，未经授权不得转载、改编
豹纹状眼底被定义为在黄斑中心凹周围以及血管弓周围可以清楚地观察到大的脉络膜血管，是病理性近视最早出现的一种重要眼底表现[1-2]。对病理性近视的早期眼底检测以及及时转诊和治疗对于预防视力丧失至关重要[3]。大量研究表明，眼底豹纹的严重程度与近视患者眼部其他因素如眼轴长度、屈光度等密切相关[2-5]，但需要依赖于眼科医生经验和识别能力对眼底豹纹程度进行人工分级，易引入个人主观判读偏差且无法对眼底豹纹状改变做精细的量化分析。近年，已经有研究利用人工智能（AI）技术自动识别豹纹状眼底，但无法精准分析豹纹分布特征[6-8]；同时，虽然有研究面向老年群体进行自动测量全局眼底豹纹密度的初探，但未深入研究适合眼底豹纹自动分割量化的技术[9]。本研究提出适配近视患者眼底豹纹特征的基于深度卷积神经网络（DCNN）的语义分割模型，其可用于快速提取彩色眼底像上的豹纹状改变区域，并结合基于DCNN的目标检测模型定位到黄斑和视盘周围区域，以实现自动测量眼底全局及局部区域的豹纹分布密度。现将结果报道如下。
1 对象和方法
应用研究。本研究经山东第一医科大学附属青岛眼科医院伦理委员会审批（批准号：2020-53号）；遵循《赫尔辛基宣言》原则，回顾性收集身份信息脱敏后的临床数据，准予免除签署知情同意书。
将2021年5～7月于山东第一医科大学附属青岛眼科医院北部院区角膜屈光科行近视手术的患者514例1 028只眼的1 005张彩色眼底像和屈光检查数据建立AI数据库。其中，男性245例（47.67%，245/514），女性269例（52.33%，269/514）；年龄（23.35±6.96）岁。患者均符合角膜屈光手术标准。排除圆锥角膜、青光眼、白内障、葡萄膜炎、黄斑病变、视网膜血管性疾病及视神经病变。
采用日本Canon公司CR-2AF免散瞳眼底照相机，拍摄患者以黄斑为中心45°彩色眼底像，分辨率2976×1984像素。参照文献[10]确立眼底图像采集标准，主要判断依据包括眼底结构位置正确、曝光适度、成像范围内无影响判读的反光或暗影等干扰。
所有彩色眼底像由6名不同年资的眼底病专业医师进行标注。首先，由两名具有10年以上眼底病临床经验的高级眼科医生共同制定眼底图像标注规范并整理典型标注示例；标注内容包含眼底豹纹、视盘及黄斑中心凹等3项，其中眼底豹纹采用像素级标注，视盘及黄斑中心凹以矩形框标定。其后，1 005张图像随机分给4名经过培训的初级眼底病专业医生（2～3年临床经验）进行标注。初级医生标注完成后，标注结果再随机均分给两名高级眼科医生检查确认标注质量，如果认为标注有误则做相应修改补充。
图像预处理。由于收集的图像均含有冗余黑色背景，先批量提取眼底区域，应用零像素将图像填充为1800×1800像素的方形图像。通过观察可知豹纹结构信息主要集中于彩色眼底像的R通道，采用RGB颜色通道重标定方法（CCR算法），对R通道进行限制对比度直方图均衡（CLAHE算法）增强处理，同时对G、B通道分别乘以0.50。其后，将方形图像缩放为512×512像素用于模型训练和测试。除采用CCR方法对图像进行预处理外，同时采用基于Lab颜色空间的CLAHE算法[11]、基于多重迭代照度估计的Retinex算法（FM Retinex算法）[12]、具有色彩保护的多尺度Retinex算法（MSRCP算法）[13]等对图像进行预处理，但未针对性优化眼底豹纹细节（图1）。对比上述4种图像增强方法与原始图像对于豹纹分割模型效果的影响。
图1
不同图像处理方法预处理效果。1A示原图；1B示限制对比度直方图均衡；1C示基于多重迭代照度估计的Retinex算法；1D示具有色彩保护的多尺度Retinex算法；1E示RGB颜色通道重标定方法
DCNN模型构建。建立眼底豹纹分割模型识别全图范围内的豹纹结构区域；构建眼底组织结构检测模型用于视盘及黄斑中心凹定位（图2）。豹纹分割模型为基于Unet架构[14]的神经网络，利用多个卷积层由浅至深提取不同层次的特征图，通过多次上采样及特征融合操作生成预测目标掩模。采用ResNet34[15]作为特征提取网络。眼底豹纹分割模型以CCR增强后图像作为输入，采用Dice损失（Dice Loss）[16]、边缘重叠率损失（EOR Loss）[17]、中心线损失（clDice Loss）[18]的加权和作为损失函数，经过多轮迭代训练确定网络参数。眼底组织结构检测模型采用引入FPN网络[19]的目标检测模型，结合多尺度信息回归矩形框，模型输出端分别选取视盘及黄斑中心凹预测得分最大的矩形框，输入不采取图像增强操作。在1 005张眼底图像中，随机提取804张图像用于训练集和验证集，其余201张作为独立测试集。
图2
彩色眼底像豹纹自动量化流程图。FTD：视野范围内后极部豹纹密度；MTD：黄斑区豹纹密度；PTD：视盘区豹纹密度
豹纹量化指标计算。眼底豹纹分割模型、眼底组织结构检测模型训练完成后用于眼底图像识别，得到豹纹预测掩模及视盘、黄斑中心凹的预测框，在此基础上计算视野范围内后极部豹纹密度（FTD）、黄斑区豹纹密度（MTD）、视盘区豹纹密度（PTD）。视野范围内FTD定义为预测掩模的豹纹像素个数与整个拍摄视野像素个数的比值；MTD为以黄斑中心凹预测框中心点为圆心，6 mm直径圆形黄斑区域的豹纹密度；PTD为视盘预测框中心点视盘周边的椭圆形区域的豹纹密度，椭圆长轴、短轴分别为6.0、4.5 mm，若该区域超出拍摄视野，则舍弃视野外的像素点。
测试集DCNN模型评价指标包括豹纹分割精度、眼底组织结构定位精度和豹纹量化指标。医学图像自动分割算法主要评价指标分别为Dice系数、准确率、灵敏度、特异性及约登指数。Dice系数为模型分割掩模与人工标注掩模交并集比值；准确率定义为预测正确的像素个数与图片像素总数的比值；灵敏度衡量豹纹被正确识别的比例；特异性代表非豹纹的像素被正确识别的比例；约登指数定义为灵敏度与特异性之和减去1，用于综合评价模型的可靠性。视盘、黄斑中心凹定位精度采用归一化平均欧式距离（NMED）表示，计算方式如下：取经归一化的预测框和人工标注框的中心点坐标，计算欧式距离后求平均值。FTD、MTD、PTD分别通过豹纹标注图和预测图计算，预测精度采用平均绝对误差（MAE）和均方根误差（RMSE）衡量，MAE即预测值与标注值绝对误差的平均值，RMSE则由预测值与标注值之差的平方和求均值并开根号计算得到。
2 结果
CCR算法图像预处理后，豹纹分割模型的Dice系数、准确率、灵敏度、特异性、约登指数均较原始图像以及CLAHE、FM Retinex、MSRCP算法高（表1）。
表1
不同图像预处理方法对豹纹分割结果的影响
豹纹分割模型训练阶段在Dice Loss基础上加入EOR Loss、clDice Loss后，模型的Dice系数、灵敏度及约登指数均有提升；模型的Dice系数、准确率、灵敏度、特异性及约登指数分别为0.723 4、94.25%、74.03%、96.00%、70.03%（表2）。
表2
不同损失函数对豹纹分割结果的影响
眼底组织结构检测模型预测框与人工标注矩形框中心点计算的视盘中心、黄斑中心凹NMED分别为0.005 46、0.014 93。人工标注和模型预测计算的FTD分别为0.135 1±0.110 6、0.129 8±0.118 5，MAE为0.014 3，RMSE为0.017 8；MTD分别为0.143 2±0.133 0、0.145 3±0.146 7，MAE为0.020 7，RMSE为0.032 3；PTD分别为0.126 9±0.089 9、0.114 4±0.102 3，MAE为0.026 7，RMSE为0.036 5（图3）。
图3
豹纹分割量化测量结果。3A～3C示人工标注及计算的豹纹密度值；3D～3F示模型预测及计算的豹纹密度值。FTD：后极部豹纹密度；MTD：黄斑区豹纹密度；PTD：视盘区豹纹密度
3 讨论
近年，以DCNN为代表的深度学习技术已经成功应用到基于眼底彩色照相的各类视网膜病变（如糖尿病视网膜病变、老年性黄斑变性、青光眼性视神经病变等）的自动识别和量化分割任务[20-24]。现有针对眼底豹纹的研究由眼底病医生进行人工分级[2-3, 5]，但需依赖于眼底病医生的临床经验，并且人眼对图像的识别精度和速度是有限的，特别是在混合了亮度、对比度和成像质量等因素的环境中。因此开始出现DCNN方法自动检测和分析眼底豹纹的研究。在一项有6个国家参与的回顾性多中心研究中，深度学习算法显示出强大的诊断性能，在随机选择的数据集中，深度学习算法对于检测近视性黄斑病变和高度近视的表现超过了该研究中所有（共6位）眼科专家[6]。这预示深度学习算法可以成为全球近视人群中危险分层和筛查的有效工具。Lu等[7]应用DCNN实现了对病理性近视眼底的分级、分类识别，但无法精细对眼底豹纹密集程度进行分级和量化。
Shao等[9]纳入50岁以上老年社区居民的彩色眼底像，使用DCNN分割模型提取眼底豹纹区域并计算全局的FTD，用于分析眼底豹纹与年龄、屈光不正等因素的相关性。而Guo等[3]研究显示中国青少年眼底豹纹状改变的患病率相对较高，眼底豹纹状改变与近视早期发病有关。近视眼患病率不断上升的趋势使得近视防控上升为国家战略，做好近视防控工作首先需要有效地检测和及早识别高危个体，针对眼底豹纹的早期病变发展变化进行定量检测可能更有防控意义。
在已有研究的基础上，本研究利用DCNN方法实现了眼底全局和局部区域豹纹分布密度的自动测量。本研究发现，CCR算法可以突出彩色眼底像中豹纹细节，减少反光、暗影和其他眼底组织的影响。通过对比CLAHE、FM Retinex、MSRCP算法的不同图像增强方法对图像预处理的效果，我们发现，与原始图像比较，基于CLAHE算法预处理训练的模型Dice系数、准确率和特异性略有提升，基于FM Retinex算法和MSRCP算法的模型效果不佳，经过CCR算法预处理的模型各项指标均优于其他模型，相较于原始图像训练Dice系数提升了0.014 1，灵敏度提升了1.85%，约登指数提升了2.03%。在模型训练过程中也发现在Dice Loss基础上增加EOR Loss和clDice Loss可以再略微提升豹纹区域的分割精度。另外，本研究不仅计算全局眼底豹纹量化参数FTD，还利用DCNN目标检测模型自动定位出黄斑区域和视盘周边区域，同时计算出这两个区域的局部豹纹分布密度MTD和PTD。通过对比人工标注与模型预测计算的豹纹密度指标，发现FTD、MTD和PTD的MAE分别为0.014 3、0.020 7、0.026 7，RMSE分别为0.017 8、0.032 3、0.036 5。由AI模型可以较为准确地自动计算出豹纹分布密度，部分误差较大的情况主要因模型漏识对比度较弱或形态细小的豹纹引起（如图3F所示的视盘周边豹纹）。
本研究局限性在于目前处于模型建立阶段，样本量较小，需要在后续研究中继续扩大样本量，覆盖不同眼底彩色照相机设备类型，并进一步优化和提升DCNN模型精度，以实现更为精确地眼底豹纹改变测量。同时，本研究测量的豹纹密度参数与近视患者眼部其他参数及未来发展趋势的相关性还有待后续研究进一步验证。
豹纹状眼底被定义为在黄斑中心凹周围以及血管弓周围可以清楚地观察到大的脉络膜血管，是病理性近视最早出现的一种重要眼底表现[1-2]。对病理性近视的早期眼底检测以及及时转诊和治疗对于预防视力丧失至关重要[3]。大量研究表明，眼底豹纹的严重程度与近视患者眼部其他因素如眼轴长度、屈光度等密切相关[2-5]，但需要依赖于眼科医生经验和识别能力对眼底豹纹程度进行人工分级，易引入个人主观判读偏差且无法对眼底豹纹状改变做精细的量化分析。近年，已经有研究利用人工智能（AI）技术自动识别豹纹状眼底，但无法精准分析豹纹分布特征[6-8]；同时，虽然有研究面向老年群体进行自动测量全局眼底豹纹密度的初探，但未深入研究适合眼底豹纹自动分割量化的技术[9]。本研究提出适配近视患者眼底豹纹特征的基于深度卷积神经网络（DCNN）的语义分割模型，其可用于快速提取彩色眼底像上的豹纹状改变区域，并结合基于DCNN的目标检测模型定位到黄斑和视盘周围区域，以实现自动测量眼底全局及局部区域的豹纹分布密度。现将结果报道如下。
1 对象和方法
应用研究。本研究经山东第一医科大学附属青岛眼科医院伦理委员会审批（批准号：2020-53号）；遵循《赫尔辛基宣言》原则，回顾性收集身份信息脱敏后的临床数据，准予免除签署知情同意书。
将2021年5～7月于山东第一医科大学附属青岛眼科医院北部院区角膜屈光科行近视手术的患者514例1 028只眼的1 005张彩色眼底像和屈光检查数据建立AI数据库。其中，男性245例（47.67%，245/514），女性269例（52.33%，269/514）；年龄（23.35±6.96）岁。患者均符合角膜屈光手术标准。排除圆锥角膜、青光眼、白内障、葡萄膜炎、黄斑病变、视网膜血管性疾病及视神经病变。
采用日本Canon公司CR-2AF免散瞳眼底照相机，拍摄患者以黄斑为中心45°彩色眼底像，分辨率2976×1984像素。参照文献[10]确立眼底图像采集标准，主要判断依据包括眼底结构位置正确、曝光适度、成像范围内无影响判读的反光或暗影等干扰。
所有彩色眼底像由6名不同年资的眼底病专业医师进行标注。首先，由两名具有10年以上眼底病临床经验的高级眼科医生共同制定眼底图像标注规范并整理典型标注示例；标注内容包含眼底豹纹、视盘及黄斑中心凹等3项，其中眼底豹纹采用像素级标注，视盘及黄斑中心凹以矩形框标定。其后，1 005张图像随机分给4名经过培训的初级眼底病专业医生（2～3年临床经验）进行标注。初级医生标注完成后，标注结果再随机均分给两名高级眼科医生检查确认标注质量，如果认为标注有误则做相应修改补充。
图像预处理。由于收集的图像均含有冗余黑色背景，先批量提取眼底区域，应用零像素将图像填充为1800×1800像素的方形图像。通过观察可知豹纹结构信息主要集中于彩色眼底像的R通道，采用RGB颜色通道重标定方法（CCR算法），对R通道进行限制对比度直方图均衡（CLAHE算法）增强处理，同时对G、B通道分别乘以0.50。其后，将方形图像缩放为512×512像素用于模型训练和测试。除采用CCR方法对图像进行预处理外，同时采用基于Lab颜色空间的CLAHE算法[11]、基于多重迭代照度估计的Retinex算法（FM Retinex算法）[12]、具有色彩保护的多尺度Retinex算法（MSRCP算法）[13]等对图像进行预处理，但未针对性优化眼底豹纹细节（图1）。对比上述4种图像增强方法与原始图像对于豹纹分割模型效果的影响。
图1
不同图像处理方法预处理效果。1A示原图；1B示限制对比度直方图均衡；1C示基于多重迭代照度估计的Retinex算法；1D示具有色彩保护的多尺度Retinex算法；1E示RGB颜色通道重标定方法
DCNN模型构建。建立眼底豹纹分割模型识别全图范围内的豹纹结构区域；构建眼底组织结构检测模型用于视盘及黄斑中心凹定位（图2）。豹纹分割模型为基于Unet架构[14]的神经网络，利用多个卷积层由浅至深提取不同层次的特征图，通过多次上采样及特征融合操作生成预测目标掩模。采用ResNet34[15]作为特征提取网络。眼底豹纹分割模型以CCR增强后图像作为输入，采用Dice损失（Dice Loss）[16]、边缘重叠率损失（EOR Loss）[17]、中心线损失（clDice Loss）[18]的加权和作为损失函数，经过多轮迭代训练确定网络参数。眼底组织结构检测模型采用引入FPN网络[19]的目标检测模型，结合多尺度信息回归矩形框，模型输出端分别选取视盘及黄斑中心凹预测得分最大的矩形框，输入不采取图像增强操作。在1 005张眼底图像中，随机提取804张图像用于训练集和验证集，其余201张作为独立测试集。
图2
彩色眼底像豹纹自动量化流程图。FTD：视野范围内后极部豹纹密度；MTD：黄斑区豹纹密度；PTD：视盘区豹纹密度
豹纹量化指标计算。眼底豹纹分割模型、眼底组织结构检测模型训练完成后用于眼底图像识别，得到豹纹预测掩模及视盘、黄斑中心凹的预测框，在此基础上计算视野范围内后极部豹纹密度（FTD）、黄斑区豹纹密度（MTD）、视盘区豹纹密度（PTD）。视野范围内FTD定义为预测掩模的豹纹像素个数与整个拍摄视野像素个数的比值；MTD为以黄斑中心凹预测框中心点为圆心，6 mm直径圆形黄斑区域的豹纹密度；PTD为视盘预测框中心点视盘周边的椭圆形区域的豹纹密度，椭圆长轴、短轴分别为6.0、4.5 mm，若该区域超出拍摄视野，则舍弃视野外的像素点。
测试集DCNN模型评价指标包括豹纹分割精度、眼底组织结构定位精度和豹纹量化指标。医学图像自动分割算法主要评价指标分别为Dice系数、准确率、灵敏度、特异性及约登指数。Dice系数为模型分割掩模与人工标注掩模交并集比值；准确率定义为预测正确的像素个数与图片像素总数的比值；灵敏度衡量豹纹被正确识别的比例；特异性代表非豹纹的像素被正确识别的比例；约登指数定义为灵敏度与特异性之和减去1，用于综合评价模型的可靠性。视盘、黄斑中心凹定位精度采用归一化平均欧式距离（NMED）表示，计算方式如下：取经归一化的预测框和人工标注框的中心点坐标，计算欧式距离后求平均值。FTD、MTD、PTD分别通过豹纹标注图和预测图计算，预测精度采用平均绝对误差（MAE）和均方根误差（RMSE）衡量，MAE即预测值与标注值绝对误差的平均值，RMSE则由预测值与标注值之差的平方和求均值并开根号计算得到。
2 结果
CCR算法图像预处理后，豹纹分割模型的Dice系数、准确率、灵敏度、特异性、约登指数均较原始图像以及CLAHE、FM Retinex、MSRCP算法高（表1）。
表1
不同图像预处理方法对豹纹分割结果的影响
豹纹分割模型训练阶段在Dice Loss基础上加入EOR Loss、clDice Loss后，模型的Dice系数、灵敏度及约登指数均有提升；模型的Dice系数、准确率、灵敏度、特异性及约登指数分别为0.723 4、94.25%、74.03%、96.00%、70.03%（表2）。
表2
不同损失函数对豹纹分割结果的影响
眼底组织结构检测模型预测框与人工标注矩形框中心点计算的视盘中心、黄斑中心凹NMED分别为0.005 46、0.014 93。人工标注和模型预测计算的FTD分别为0.135 1±0.110 6、0.129 8±0.118 5，MAE为0.014 3，RMSE为0.017 8；MTD分别为0.143 2±0.133 0、0.145 3±0.146 7，MAE为0.020 7，RMSE为0.032 3；PTD分别为0.126 9±0.089 9、0.114 4±0.102 3，MAE为0.026 7，RMSE为0.036 5（图3）。
图3
豹纹分割量化测量结果。3A～3C示人工标注及计算的豹纹密度值；3D～3F示模型预测及计算的豹纹密度值。FTD：后极部豹纹密度；MTD：黄斑区豹纹密度；PTD：视盘区豹纹密度
3 讨论
近年，以DCNN为代表的深度学习技术已经成功应用到基于眼底彩色照相的各类视网膜病变（如糖尿病视网膜病变、老年性黄斑变性、青光眼性视神经病变等）的自动识别和量化分割任务[20-24]。现有针对眼底豹纹的研究由眼底病医生进行人工分级[2-3, 5]，但需依赖于眼底病医生的临床经验，并且人眼对图像的识别精度和速度是有限的，特别是在混合了亮度、对比度和成像质量等因素的环境中。因此开始出现DCNN方法自动检测和分析眼底豹纹的研究。在一项有6个国家参与的回顾性多中心研究中，深度学习算法显示出强大的诊断性能，在随机选择的数据集中，深度学习算法对于检测近视性黄斑病变和高度近视的表现超过了该研究中所有（共6位）眼科专家[6]。这预示深度学习算法可以成为全球近视人群中危险分层和筛查的有效工具。Lu等[7]应用DCNN实现了对病理性近视眼底的分级、分类识别，但无法精细对眼底豹纹密集程度进行分级和量化。
Shao等[9]纳入50岁以上老年社区居民的彩色眼底像，使用DCNN分割模型提取眼底豹纹区域并计算全局的FTD，用于分析眼底豹纹与年龄、屈光不正等因素的相关性。而Guo等[3]研究显示中国青少年眼底豹纹状改变的患病率相对较高，眼底豹纹状改变与近视早期发病有关。近视眼患病率不断上升的趋势使得近视防控上升为国家战略，做好近视防控工作首先需要有效地检测和及早识别高危个体，针对眼底豹纹的早期病变发展变化进行定量检测可能更有防控意义。
在已有研究的基础上，本研究利用DCNN方法实现了眼底全局和局部区域豹纹分布密度的自动测量。本研究发现，CCR算法可以突出彩色眼底像中豹纹细节，减少反光、暗影和其他眼底组织的影响。通过对比CLAHE、FM Retinex、MSRCP算法的不同图像增强方法对图像预处理的效果，我们发现，与原始图像比较，基于CLAHE算法预处理训练的模型Dice系数、准确率和特异性略有提升，基于FM Retinex算法和MSRCP算法的模型效果不佳，经过CCR算法预处理的模型各项指标均优于其他模型，相较于原始图像训练Dice系数提升了0.014 1，灵敏度提升了1.85%，约登指数提升了2.03%。在模型训练过程中也发现在Dice Loss基础上增加EOR Loss和clDice Loss可以再略微提升豹纹区域的分割精度。另外，本研究不仅计算全局眼底豹纹量化参数FTD，还利用DCNN目标检测模型自动定位出黄斑区域和视盘周边区域，同时计算出这两个区域的局部豹纹分布密度MTD和PTD。通过对比人工标注与模型预测计算的豹纹密度指标，发现FTD、MTD和PTD的MAE分别为0.014 3、0.020 7、0.026 7，RMSE分别为0.017 8、0.032 3、0.036 5。由AI模型可以较为准确地自动计算出豹纹分布密度，部分误差较大的情况主要因模型漏识对比度较弱或形态细小的豹纹引起（如图3F所示的视盘周边豹纹）。
本研究局限性在于目前处于模型建立阶段，样本量较小，需要在后续研究中继续扩大样本量，覆盖不同眼底彩色照相机设备类型，并进一步优化和提升DCNN模型精度，以实现更为精确地眼底豹纹改变测量。同时，本研究测量的豹纹密度参数与近视患者眼部其他参数及未来发展趋势的相关性还有待后续研究进一步验证。
