人工智能在超声影像中的应用现状 | ![]() |
2. 内蒙古师范大学科学技术史研究院,内蒙古 呼和浩特 010022;
3. 黑龙江省农垦总局总医院消化内科,黑龙江 哈尔滨 150088;
4. 黑龙江中医药大学附属第一医院超声医学科,黑龙江 哈尔滨 150040
人工智能这一概念最早是在1956年的达特茅斯会议上由约翰·麦卡锡提出[1],迄今已有60多年的历史,现在作为对模仿人类智力的机器(计算机)能力和操作的一般描述[2]。它是训练计算机来模拟人类的思维及认知功能,产生与人类相似的思考[3]。人工智能将经历3个发展时期,即弱人工智能、强人工智能和超人工智能[4]。深度学习算法是人工智能技术发展的核心环节。在过去的几年里,基于卷积神经网络(convolutional neural network,CNN)的学习体系成为深度学习算法中发展最快的领域之一,主要用于图像识别与分类。深度学习是自动提取图像特征,将简单特征融合成复杂特征,再用复杂特征解决问题[5]。目前,人工智能技术已广泛地应用于各个领域,与医学领域的联系愈加密切,主要是与医学影像(CT、X线、MRI、PET)的结合应用。超声因无痛、无创、无电离辐射、简便、快捷、可实时成像、重复性好等优势已广泛应用于肝脏、心脏、血管、甲状腺、乳房、肌肉等内脏器官及浅表结构的检查与诊断[6]中。但超声检查具有一定的主观差异性,且需长期大量的培训与学习才能成为一名合格的超声医师[7]。相比之下,人工智能与超声影像结合可简化操作步骤、避免主观差异性、节约医师资源、缩短报告时间、提高诊断效率,其主要研究领域为甲状腺、乳腺、肝脏病变的检测等。笔者就人工智能在超声影像中的应用现状作一综述。
1 甲状腺超声影像的智能应用超声对甲状腺疾病的诊断有重要作用,其对可疑病变主要从以下几个方面辨别:结节的位置、大小、数目;回声强度;边界是否清晰、形态是否规整;有无钙化;囊性变;纵横比及彩色多普勒血流信号等。ACHARYA等[8]基于图像纹理和离散小波变换的特征,利用K-最近邻算法对三维超声造影甲状腺图像进行检测,准确率为98.9%、敏感度为98.0%、特异度为99.8%。深度卷积神经网络(deep convolutional neural network,DCNN)为这种由计算机诊断发展奠定了基础[9]。王洪杰等[10]利用CNN模型对甲状腺结节进行检测,采集图像2 786张,其与超声影像的结合对甲状腺结节检测的准确率为82.82%,精确度为83.46%,敏感度为64.74%,特异度为91.18%,证实人工智能与超声影像的结合有助于甲状腺良恶性结节的检测;但其研究局限性在于图像中恶性结节占绝大多数。王丹等[11]使用超声与人工智能结合的设备对600张甲状腺结节图像进行鉴别,其敏感度为86.20%,特异度为85.48%,表明人工智能超声对甲状腺的临床诊断有重要作用。CHI等[12]对甲状腺超声图像进行预处理,去除伪影,再对预处理后的GoogLeNet模型进行微调提取特征,结果表明,该模型具有良好的分类性能,分类准确率达98.29%,敏感度达99.10%,特异度达93.90%;但甲状腺病变区域的图像由医师划定,而不是由超声计算机辅助诊断(computer aided diagnosis,CAD)系统检测。MA等[13]对收集的15 000张图像采用2个CNN融合的方式,该方法的准确率为83.02%,证实深度学习能显著提高超声对甲状腺结节性质的诊断准确率。
此外,MA等[14]基于CNN的级联模型对21 532张超声图像中的甲状腺结节检测,该方法由2种不同深度的CNN体系构成,结果显示AUC为98.51%,此模型优于传统机器学习方法,但需医师手动操作超声图像检测区域。CHOI等[15]使用人工智能的CAD系统判断102个甲状腺结节的良恶性,其对恶性甲状腺结节的诊断敏感度和阴性预测值与经验丰富的超声医师具有一致性,而特异度和准确率均低于后者。LI等[16]利用DCNN模型对332 180张图像进行回顾性研究,与熟练的超声医师相比,提高了甲状腺癌的诊断准确率。PEREIRA等[17]基于AlexNet的CNN模型的甲状腺结节的剪切波弹性成像,在964幅图像的20%的数据集上,其诊断准确率达83%。
2 乳腺超声影像的智能应用乳腺癌是最常见的恶性肿瘤之一,是造成女性癌症死亡的主要原因。人工智能在乳腺良恶性结节筛查和检测中有着重要作用。鉴别乳腺良恶性结节的主要特征可从以下几方面入手:肿块的形态是否规则、边缘是否光滑、内部回声(低回声、无回声)、后方回声衰减、包膜完整度、有无钙化、纵横比、彩色多普勒血流信号等。李程等[18]运用乳腺超声人工智能设备对400张乳腺结节图像进行检测,结果显示敏感度为96.06%,特异度为97.46%。HAN等[19]利用深度学习的模型(CNN的GoogLeNet模型)对7 408张超声乳腺图像进行训练以鉴别良恶性肿瘤,其敏感度为86%,特异度为96%,准确率为90%;该方法可在短时间内对恶性病变进行分类,并支持放射科医师对恶性病变的诊断。CHIANG等[20]将基于三维CNN的检测系统,用于三维自动全乳腺超声的肿瘤检测,针对采集的230张病理图像结果得到了较高的敏感度,但敏感度>98%时特异度不佳。PARK等[21]对100例乳腺肿块行CAD检测,比较不同医师间的差异性,发现当CAD与超声结合时,所有医师的诊断技能均有明显提高。
BECKER等[22]训练了一个通用的深度学习软件,以便对超声乳腺癌图像进行分类鉴别,发现深度学习软件可帮助诊断乳腺癌图像,可与超声医师相媲美,且与无经验的学者相比接受力更好、学得更快。KIM等[23]评估了基于深度学习算法的超声智能检测(smart detect,简称S-Detect)技术在乳腺超声检查中的诊断性能,采用Kappa检验分析超声医师与S-Detect之间的一致性,结果表明当BI-RADS分级在4a级以上时,与超声医师相比较,S-Detect技术的特异度、阳性预测值和准确率均明显高于超声医师(均P<0.05),S-Detect技术的AUC为0.725,而超声医师仅为0.653。ZHANG等[24]建立了深度学习架构,是一个2层深度学习模型:第1层是完全连接的神经网络用于提取特征,第2层是受限的玻尔兹曼机器提供更好的特征,能自动提取剪切波弹性成像的特征,并鉴别良恶性肿瘤。通过对227张剪切波弹性成像图像(135张良性肿瘤、92张恶性肿瘤)的评估得到准确率为93.4%,敏感度为88.6%,特异度为97.1%。CHENG等[25]利用堆叠去噪自动编码器辨别乳腺超声病变,得到AUC为89.6±6.4,与传统的机器学习方法相比更具优势。YAP等[26]将3种深度学习方法(基于补丁的Lenet、U-net及预先训练的FCN-AlexNet的转移学习方法)用于超声对乳腺病变的检测,并将其性能与4种最先进的病变检测算法进行比较,结果显示,转移学习方法具有更好的学习效果。
XIAO等[27]收集了2 058乳腺肿块的超声图像,包含1 370张良性和688张恶性病变,比较迁移模型、CNN模型和传统的机器学习模型对良恶性肿瘤的鉴别诊断情况,结果表明迁移模型中的InceptionV3性能最佳,其准确率为85.13%,AUC为0.91;此外,还建立了基于从迁移模型中提取深层特征分类的模型,并获得了良好的性能,精确度达89.44%,AUC为0.93。SEGNI等[28]研究了S-Detect对乳腺病变的诊断性能,显示敏感度为90%、特异度为70.8%,证实其提高了特异度。BYRA等[29]利用基于深度学习方法的转移学习CNN模型,鉴别150例乳腺病变的良恶性,结果显示AUC为0.936,可帮助超声医师对乳腺肿块进行分类。
3 肝脏超声影像的智能应用超声是评估肝脏疾病的首选成像方式,人工智能在肝脏超声方面的应用主要为肝脏脂肪检测及评估肝纤维化等[30]。BYRA等[31]针对非酒精性脂肪肝的超声评估,在ImageNet数据集上使用具有转移学习的DCNN模型进行预先训练,用于肝脏超声的肝脏脂肪变性评估,再运用支持向量机(SVM)算法进行图像分类,敏感度为100.0%、特异度为88.2%、准确率为96.3%、AUC为0.977,证明该方法可帮助医师判断肝脏中的脂肪含量。BISWAS等[32]运用深度学习方法(DL-CNN模型)评估脂肪肝,并与其他2种方法即SVM、极限学习机(ELM)相比较,诊断准确率分别为100%、82%、92%,表明使用深度学习的超声能更好地判别脂肪肝。HASSAN等[33]使用基于深度学习技术的堆叠稀疏自动编码器,从分割的肝脏图像中提取高级特征,其准确率为97.2%,并与多支持向量机(multi-SVM)、K最近邻分类算法、朴素贝叶斯算法(naive Bayes)3种先进技术相比,准确率仍占优势。
MENG等[34]采用基于转移学习的VGGNet和全连接网络(FCNet)模型对肝纤维化进行分期,结果显示,在30%的测试集上(279张图像)的准确率达93.9%。LIU等[35]提出利用肝脏图像的DCNN模型,提取肝包膜的影像特征,AUC为0.968,表明该方法能有效提取肝包膜的特征并准确诊断肝硬化。宋家琳等[36]也提出肝硬化的高频超声图像算法,主要对肝包膜的连续性与平滑度进行比较,提取图像的形状或纹理特征作为定量分析,结果表明该方法对肝硬化的评估有重要价值。
WANG等[37]基于深度学习的弹性成像评估肝纤维化分期,结果显示该方法的AUC肝硬化(F4期)为0.97、肝纤维化晚期(≥F3期)为0.98,显著肝纤维化(≥F2期)AUC从0.99降至0.85;表明该方法比二维剪切波弹性成像更能准确评估肝硬化及肝纤维化晚期。另外,LIU等[38]为预测肝细胞癌患者的经动脉化疗栓塞效果,利用人工智能定量分析超声造影对经动脉化疗栓塞的反应,建立了基于深度学习辐射组学的超声造影模型、基于机器学习辐射组学的超声造影模型、基于机器学习辐射组学的B-Mode图像模型并比较;结果表明第1种模型的AUC达0.93,效果最佳,可有效利用超声造影进行预测。
4 其他超声影像的智能应用赵佳琦等[39]研究运用计算机纹理分析技术在视觉下定量识别骨骼肌超声图像的纹理特征,同时其自主研发的骨骼肌损伤超声图像纹理定量分析的强度界面多级分解法[40]得到有效验证。YU等[41]为了识别胎儿面部标准平面提出了一种DCNN,该DCNN包括16个具有3×3大小核的卷积层和3个完全连接的层,对胎儿超声平面进行分类的准确率达93.03%,高于传统方法,对临床诊断有效。
WU等[42]提出用2个DCNN模型评估胎儿超声图像的质量,L型CNN模型用于检测超声图像中腹部的ROI;C型CNN模型用于评估图像中关键结构的胃泡和脐静脉;且模型评估结果与3位医师的主观图像质量评价相当。CHEN等[43]研究了一个DCNN和递归神经网络的复合神经网络框架,可从胎儿超声图像中探索平面内与平面之间的特征及对胎儿标准平面的分类,这种复合神经网络被称为T-RNN,试验证明了该模型的有效性,用于检测胎儿标准平面,其AUC达0.95。
HETHERINGTON等[44]的研究可从超声图像中自动识别脊柱水平,帮助麻醉师进行麻醉操作。LEKADIR等[45]构建了一个深度学习框架,具体指4个3×3大小的卷积层和3个完全连接层的CNN模型,该模型可对动脉粥样硬化斑块进行分类,包括脂质核心、纤维组织及钙化组织的数量,根据Pearson的相关系数得出脂质核心为0.92、纤维组织为0.87、钙化组织为0.93,表明自动测量可用于颈动脉超声斑块的临床预测。
目前,在医学行业中,90%的数据来源依靠医学影像,而每一项数据都离不开人工分析,这导致医师资源的浪费,也不可避免地造成医师主观判断性的失误[46]。智能化的超声影像可弥补人力不足及人为失误,提高疾病诊断的准确率。但超声大数据的获取常依赖于医师的操作,这给超声图像识别提取特征提出了更高要求,即在获得需要的基本图像之后,应制订出一个医师与算法工程师共同协调、同意接受的图像ROI的标准[47]。另外,对于获得的超声图像,可建立一个量化的标准,增加行业的统一性。在进行超声检查时,利用人工智能技术,图像可进行自动化的分类并保证图像获取的连续性及完整性[48]。
总之,人工智能技术的发展,推动了超声影像学科的发展。目前,虽然我国人工智能在超声医学中的发展还处于起步阶段[49],但相信随着科技实力的不断壮大,超声影像与人工智能的结合会更加深入,人工智能将更广泛地应用于各种超声检查中,提高超声诊断效率,降低误诊率。
[1] |
ENNALS R. Pamela McCorduck and A.K. Peters (eds):Machines who think:25th anniversary update:Natick, Massachusetts, 2004, ISBN1-56881-205-1[J]. Ai & Society, 2004, 18(4): 382-383. |
[2] |
GORE J C. Artificial intelligence in medical imaging[J]. Magn Reson Imaging, 2020, 68: A1-A4. DOI:10.1016/j.mri.2019.12.006 |
[3] |
LIANG X W, CAI Y Y, YU J S, et al. Update on thyroid ultrasound:a narrative review from diagnostic criteria to artificial intelligence techniques[J]. Chin Med J (Engl), 2019, 132(16): 1974-1982. DOI:10.1097/CM9.0000000000000346 |
[4] |
李文翔. 人工智能应用于超声检测的前景[J]. 电子测试, 2019(13): 132-133. |
[5] |
胡越, 罗东阳, 花奎, 等. 关于深度学习的综述与讨论[J]. 智能系统学报, 2019, 14(1): 1-19. |
[6] |
AKKUS Z, CAI J, BOONROD A, et al. A survey of deep-learning applications in ultrasound:artificial intelligence-powered ultrasound for improving clinical workflow[J]. J Am Coll Radiol, 2019, 16(9 Pt B): 1318-1328. |
[7] |
毕珂, 王茵. 计算机辅助诊断技术在超声医学中的应用进展[J]. 肿瘤影像学, 2019, 28(5): 296-300. |
[8] |
ACHARYA U R, SWAPNA G, SREE S V, et al. A review on ultrasound-based thyroid cancer tissue characterization and automated classification[J]. Technol Cancer Res Treat, 2014, 13(4): 289-301. DOI:10.7785/tcrt.2012.500381 |
[9] |
刘睿峰, 夏宇, 姜玉新. 人工智能在超声医学领域中的应用[J]. 协和医学杂志, 2018, 9(5): 453-457. |
[10] |
王洪杰, 于霞, 田进军, 等. 人工智能在超声影像甲状腺结节良恶性预测研究[J]. 中国医学装备, 2019, 16(12): 28-31. |
[11] |
王丹, 花瞻, 武敬平, 等. 甲状腺结节的超声人工智能诊断[J]. 中国超声医学杂志, 2019, 3(12): 1070-1072. |
[12] |
CHI J, WALIA E, BABYN P, et al. Thyroid nodule classifica tion in ultrasound images by fine-tuning deep convolutional neural network[J]. J Digit Imaging, 2017, 30(4): 477-486. DOI:10.1007/s10278-017-9997-y |
[13] |
MA J, WU F, ZHU J, et al. A pre-trained convolutional neural network based method for thyroid nodule diagnosis[J]. Ultra sonics, 2017, 73: 221-230. |
[14] |
MA J, WU F, JIANG T, et al. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultra sound images[J]. Med Phys, 2017, 44(5): 1678-1691. DOI:10.1002/mp.12134 |
[15] |
CHOI Y J, BAEK J H, PARK H S, et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound:initial clinical assessment[J]. Thyroid, 2017, 27(4): 546-552. |
[16] |
LI X C, ZHANG S, ZHANG Q, et al. Diagnosis of thyroid can cer using deep convolutional neural network models applied to sonographic images:a retrospective, multicohort, diagnostic study[J]. Lancet. Oncol, 2019, 20(2): 193-201. DOI:10.1016/S1470-2045(18)30762-9 |
[17] |
PEREIRA C, DIGHE M, ALESSIO A M. Comparison of machine learned approaches for thyroid nodule characterization from shear wave elastography images[C]//Computer-Aided Diagnosis, 2018.
|
[18] |
李程, 花瞻, 林江莉, 等. 超声人工智能用于乳腺结节良恶性诊断的研究[J]. 中国超声医学杂志, 2019, 35(9): 786-788. |
[19] |
HAN S, KANG H K, JEONG J Y, et al. A deep learning frame work for supporting the classification of breast lesions in ultra sound images[J]. Phys Med Biol, 2017, 62(19): 7714-7728. DOI:10.1088/1361-6560/aa82ec |
[20] |
CHIANG T C, HUANG Y S, CHEN R T, et al. Tumor detection in automated breast ultrasound using 3-D CNN and prioritized candidate aggregation[J]. IEEE Trans Med Imaging, 2019, 38(1): 240-249. |
[21] |
PARK H J, KIM S M, LA Y B, et al. A computer-aided diag nosis system using artificial intelligence for the diagnosis and characterization of breast masses on ultrasound:Added value for the inexperienced breast radiologist[J]. Medicine (Baltimore), 2019, 98(3): e14146. DOI:10.1097/MD.0000000000014146 |
[22] |
BECKER A S, MUELLER M, STOFFEL E, et al. Classification of breast cancer in ultrasound imaging using a generic deep learning analysis software:apilotstudy[J]. Br J Radiol, 2018, 91(1083): 20170576. |
[23] |
KIM K, SONG M K, KIM E K, et al. Clinical application of S-Detect to breast masses on ultrasonography:a study evaluating the diagnostic performance and agreement with a dedicated breast radiologist[J]. Ultrasonography, 2017, 36(1): 3-9. DOI:10.14366/usg.16012 |
[24] |
ZHANG Q, XIAO Y, DAI W, et al. Deep learning based classi fication of breast tumors with shear-wave elastography[J]. Ultra sonics, 2016, 72: 150-157. |
[25] |
CHENG J Z, NI D, CHOU Y H, et al. Computer-aided diagnosis with deep learning architecture:applications to breast lesions in US images and pulmonary nodules in CT scans[J]. Sci Rep, 2016, 6: 24454. DOI:10.1038/srep24454 |
[26] |
YAP M H, PONS G, MARTI J, et al. Automated breast ultra sound lesions detection using convolutional neural networks[J]. IEEE J Biomed Health Inform, 2018, 22: 1218-1226. DOI:10.1109/JBHI.2017.2731873 |
[27] |
XIAO T, LIU L, LI K, et al. Comparison of transferred deep neural networks in ultrasonic breast masses discrimination[J]. Biomed Res Int, 2018, 2018: 4605191. |
[28] |
SEGNI M D, SOCCIO V D, CANTISANI V, et al. Automated classification of focal breast lesions according to S-detect:vali dation and role as a clinical and teaching tool[J]. J Ultrasound, 2018, 21(2): 105-118. |
[29] |
BYRA M, GALPEIN M, OJEDA-FOURNIER H, et al. Breast mass classification in sonography with transfer learning using a deep convolutional neural network and color conversion[J]. Med Phys, 2019, 46(2): 746-755. |
[30] |
LASSAU N, ESTIENNE T, AZOULAY M, et al. Five simultane ous artificial intelligence data challenges on ultrasound, CT, and MRI[J]. Diagn Interv Imaging, 2019, 100(4): 199-209. DOI:10.1016/j.diii.2019.02.001 |
[31] |
BYRA M, STYCZYNSKI G, SZMIGIELSKI C, et al. Transfer learning with deep convolutional neural network for liver stea tosis assessment in ultrasound images[J]. Int J Comput Assist Radiol Surg, 2018, 13(12): 1895-1903. DOI:10.1007/s11548-018-1843-2 |
[32] |
BISWAS M, KUPPILI V, EDLA D R, et al. Symtosis:a liver ultrasound tissue characterization and risk stratification in opti mized deep learning paradigm[J]. Comput Methods Programs Biomed, 2018, 155: 165-177. DOI:10.1016/j.cmpb.2017.12.016 |
[33] |
HASSAN T M, ELMOGYl M, SALLAM E S. Diagnosis of focal liver diseases based on deep learning technique for ultrasound images[J]. Arabian J Sci Eng, 2017, 42: 3127-3140. DOI:10.1007/s13369-016-2387-9 |
[34] |
MENG D, ZHANG L, CAO G, et al. Liver fifibrosis classififica tion based on transfer learning and FCNet for ultrasound ima ges[J]. IEEE Access, 2017, 5: 5804-5810. |
[35] |
LIU X, SONG J L, WANG S H, et al. Learning to diagnose cirrhosis with liver capsule guided ultrasound image classifica tion[J]. Sensors (Basel), 2017, 17(1): 149. |
[36] |
宋家琳, 刘翔, 章建全, 等. 高频超声影像肝脏包膜几何特征定量评价患者肝硬化程度[J]. 中国医学影像技术, 2015, 31(12): 1907-1910. |
[37] |
WANG K, LU X, ZHOU H, et al. Deep learning radiomics of shear wave elastography significantly improved diagnostic per formance for assessing liver fibrosis in chronic hepatitis B:a prospective multicentre study[J]. Gut, 2019, 68(4): 729-741. DOI:10.1136/gutjnl-2018-316204 |
[38] |
LIU D, LIU F, XIE X Y, et al. Accurate prediction of responses to transarterial chemoembolization for patients with hepatocellular carcinoma by using artificial intelligence in contrast-enhanced ultrasound[J]. Eur Radiol, 2020, 30(4): 2365-2376. DOI:10.1007/s00330-019-06553-6 |
[39] |
赵佳琦, 徐琪, 章建全, 等. 骨骼肌超声诊断迈向人工智能新领域:计算机辅助骨骼肌损伤超声定量诊断[J]. 第二军医大学学报, 2017, 38(10): 1217-1224. |
[40] |
赵佳琦, 徐琪, 章建全, 等.骨骼肌损伤超声纹理定量诊断的实验研究[C]//中国超声医学工程学会第三次全国浅表器官及外周血管超声医学学术会议(高峰论坛)论文汇编, 2011.
|
[41] |
YU Z, TAN E L, NI D, et al. A deep convolutional neural net work based framework for automatic fetal facial standard plane recognition[J]. IEEE J Biomed Health Inform, 2018, 22(3): 874-885. DOI:10.1109/JBHI.2017.2705031 |
[42] |
WU L, CHENG J Z, LI S, et al. FUIQA:fetal ultra sound image quality assessment with deep convolutional networks[J]. IEEE Trans Cybern, 2017, 47(5): 1336-1349. DOI:10.1109/TCYB.2017.2671898 |
[43] |
CHEN H, WU L, DOU Q, et al. Ultrasound standard plane de tection using a composite neural network framework[J]. IEEE Trans Cybern, 2017, 47(6): 1576-1586. DOI:10.1109/TCYB.2017.2685080 |
[44] |
HETHERINGTON J, LESSOWAY V, GUNKA V, et al. SLIDE:automatic spine level identification system using a deep convo lutional neural network[J]. Int J Comput Assist Radiol Surg, 2017, 12(7): 1189-1198. DOI:10.1007/s11548-017-1575-8 |
[45] |
LEKADIR K, GALIMZIANOVA A, BETRIU A, et al. A convo lutional neural network for automatic characterization of plaque composition in carotid ultrasound[J]. IEEE J Biomed Health Inform, 2017, 21(1): 48-55. DOI:10.1109/JBHI.2016.2631401 |
[46] |
金征宇. 前景与挑战:当医学影像遇见人工智能[J]. 协和医学杂志, 2018, 9(1): 2-4. |
[47] |
赵佳琦, 刁宗平, 徐琪, 等. 人工智能时代超声医学新发展[J]. 第二军医大学学报, 2019, 40(5): 478-482. |
[48] |
瞿岳, 俞成杰. 人工智能时代超声医学的最新发展研究[J]. 影像研究与医学应用, 2019, 3(24): 1-2. |
[49] |
王勇, 何文. 中国超声医学的发展与展望[J]. 中国医学影像学杂志, 2019, 27(7): 479-480. |