康耐视博客

VisionPro Deep Learning 帮助放射科医生识别是新冠肺炎还是普通肺炎影像

Using deep learning to identify Covid in CT scans

新型冠状病毒疾病 - 被世界卫生组织命名为 COVID-19 - 是由一类名为 SARS-CoV-2(严重急性呼吸系统综合症冠状病毒 2)的新型冠状病毒引起的。这种单链 RNA(核糖核酸)病毒可引起严重的呼吸道感染,可能导致住院和死亡。全世界已有近 5500 万人感染,135 万人死亡。

现在,科学家们正在努力地研究治疗方法和疫苗,帮助普通人群避免感染 COVID-19。在他们的努力结出丰硕的成果之前,最有效的解决方案之一就是在早期阶段检测病毒,然后通过隔离的方式隔离被感染的人,避免疾病扩散。使用鼻咽拭子的实时逆转录聚合酶链反应测试可测量体内 RNA 水平,是正在使用中的最准确的 COVID-19 诊断方式。但是,这种测试需要几个小时的时间,而且检测的积压会导致更长的等待时间。一种更新且更准确的诊断 COVID-19 的方法是使用 X 射线影像和计算机断层 (CT) 扫描。

2020 年夏天,一队医学研究人员使用康耐视的 VisionPro Deep Learning (DL) 软件通过分析胸部 X 射线影像探测冠状病毒,并取得了积极成果。在后续论文中,该团队比较了使用 VisionPro DL 软件识别 CT 扫描中的 COVID-19 指征的效果。该论文还探索了如何更快且更方便地编程软件,并再次取得很积极的成果。

X 射线,CT 扫描,和 COVID-19

X 射线等医学影像可为医生和放射科医生提供 COVID-19 实验室测试准确性的视觉证据。另外,培训方式与儿童通过示范学习相似的深度学习神经网络可以分析数千医学图像并确认能否支持某一诊断的异常情况,从而减轻医生负担

这里只有一个障碍:最常用的开源深度学习工具不但难用,而且需要大量的编程专业经验。希望医生、放射科医生等医疗卫生工作人员掌握这些工具是不现实的。

今年夏天,康耐视的人工智能 (AI) 专家团队提出一个假设开始着手解决这个障碍:康耐视的工业自动化软件能否提供简单易用且可以媲美世界上最常用开源深度学习工具的替代工具?这项名为“使用深度学习通过胸部 X 射线图像识别新冠影像:康耐视 VisionPro Deep Learning 1.0 软件与开源卷积神经网络的对比”的研究,对比了康耐视 VisionPro DL 计算机神经网络 (CNN) 和多个主要开源 CNN 的 X 射线评估,其中包括 VGG19、ResNet、DenseNet 和 Inception。Arjun Sarkar、Joerg Vandenhirtz、Jozsef Nagy、David Bacsa 和 Mitchell Riley(均为康耐视生命科学团队成员)编写的论文通过同行评审后,已经吸引了多家主要研究出版商的注意。

“我们很惊讶使用软件区别 X 射线图像上的病理是如此简单,”康耐视生命科学高级 AI 专家 Vandenhirtz 说。“让人类区分 X 射线图像上的各种病理特征几乎是不可能的。对于这种图像,五个放射科医生可能给出五种不同的解释。”

研究 1:VisionPro DL 脱颖而出

康耐视的研究构建在加拿大安大略省滑铁卢大学研究人员的调查结果上,标题为“COVID-Net:定制深度卷积神经网络探测胸部 X 射线影像中的新冠病例”的结果为基础。使用了 COVIDx 数据集中的近 14,000 张胸部 X 射线影像。合著者 Linda Wang 和 Alexander Wong 使用了开源深度学习包建立 COVID-Net,这是用于分析 X 射线的成熟神经网络,可以识别有新冠症状的肺部。

一个名为 F-score 的评估对尝试准确地预测数字图像模式和异常的深度学习系统的整体准确性进行了评估。基本上,F-score 就是深度学习系统生成的正确预测的百分比。

康耐视的研究人员分析了 COVID-Net 数据集中的近 14,000 张 X 射线图影。这些图影分三类:正常,非新冠肺炎和新冠。正如这个对比多个深度学习包的表格所示,COVID-Net 生成了很强的预测性结果,范围为正常图像 92.6% 到新冠图像 94.7%。VisionPro Deep Learning 1.0 做得更好,正常 X 射线影像 95.6%,新冠 X 射线图像 97.0%。

图1

研究 2:VisionPro Deep Learning 在 CT 扫描方面扩大了优势

同一研究团队一份更新的康耐视论文将研究范围从胸部 X 射线影像扩展到了 CT 扫描。虽然很多研究已经证明使用深度学习通过 CT 扫描和 X 射线影像探测 COVID-19 图像是成功的,但其中大部分深度学习架构都不提供编程系统所需的图形用户界面 (GUI),所以需要大量编程工作。缺少深度学习或编程知识的放射科医生很难使用这些程序,更不用说培训它们了。

“采用深度学习软件的一个主要问题是,TensorFlow 这样的标准包需要程序员在文本终端界面建立自己的模型,”Vandenhirtz 继续说。“而 VisionPro Deep Learning 有一个友好的 GUI,不需要任何编程经验。如果您能学会 Microsoft Office,您就能学会 VisionPro DL。”Vandenhirtz 又补充说,项目首席研究员 Arjun Sarkar 在加入康耐视之前从未使用过 VisionPro DL。Sarkar 在两个月内学会了这个程序,做完了研究,并总结了结果。传统的深度学习可能需要你花费几年的时间来建立网络、开发模型、以及培训算法。VisionPro DL 大幅缩短了这个周期。

因为效果和易用性是后续研究的两个主要内容,所以康耐视的最新研究测试了 VisionPro DL 能否成功识别普通 COVID-19 和非 COVID 肺炎,以及需要多少培训才能获得很高的 F 分数。后续论文“使用深度学习通过胸部计算机断层 (CT) 影像探测 COVID-19:COGNEX VisionPro Deep Learning 1.0 软件与开源卷积神经网络的对比”使用了滑铁卢大学视觉和图像处理实验室 Linda Wang 团队的数据集,其中包含 100,000 多张专门标记过的图像。除 CNN 外,我们还使用其他一流 CNN 对康耐视 VisionPro Deep Learning 做了基准测试,其中包括滑铁卢大学的 CNN 架构 COVID-Net-CT-A 和 COVID-Net-CT-B,以及谷歌最新的 CNN 架构 Xception。

如下表所示,与所有其他 CNN 网络架构相比,康耐视 VisionPro Deep Learning 1.0 的表现均较好,所有三类(普通、非新冠肺炎和新冠)的 F 分数 > 99.4。初步研究将 100,000 原始图像 CT 扫描数据集分成两组:培训组 61,783 张图像,“测试”组 21,191 张图像,由各 CNN 在培训后进行分析。

图2

为了了解“培训”现有 X 射线 CNN 评估普通、COVID-19 和肺炎疾病需要多少图像,康耐视又使用 26,338 张图像而不是 61,000 多张图像重新对康耐视 CNN 进行了培训。如下表所示,对各 CNN 的 F 分数进行了对比。康耐视 VisionPro Deep Learning 与其他 CNN 架构相比优势明显,所有三类图像(正常、COVID-19、普通肺炎)F 分数 > 99.1,而所有其他 CNN 均降至接近九十至九十五左右,特别是病理有相关性的两类:普通肺炎和 COVID-19。

图3

深度学习为放射科医生提供了强大的诊断工具

虽然康耐视前两次研究的结果仍然需要其他医学研究人员进行验证,但初步结果还是很令人期待的。另外,该软件尚未获批用于医疗用途。

Vandenhirtz 表示公司的主要短期兴趣是将这种软件的能力告诉全球医学社区。它还可能在其他领域发挥作用,例如依赖眼睛内部机制图像的眼科。

虽然深度学习算法能力很强,但它并不能完全代替人类医生的智慧,Vandenhirtz 说。但是,就像听诊器或血压袖套一样,它是一种有用的工具,可以帮助医疗卫生专业人员更好地完成工作。

“我们认为,至少在短到中期,AI 还不能完成诊断,”他总结说。“VisionPro DL 可以提供建议,但是最终还需要放射科医生来判断图像的意义。”

更多帖子

获取产品支持和培训以及更多

加入 MyCognex

是否有任何疑问?

世界各地的康耐视代表可以随时为您提供支持,满足您的视觉和工业读码需求。

联系我们