康耐视博客

VisionPro Deep Learning 在识别新冠胸部 X 光片方面展示潜力

using deep learning to diagnose COVID-19 from chest x-rays

随着新冠疫情在全球响起警报,康耐视的深度学习专家们也开始思索如何帮助医疗卫生专家们建立有效的防御。

疫情非常严重:截止 2020 年 9 月中旬,新冠已在全球感染近 3000 万人并夺走了近一百万的生命。世界各地的医生们都面临着同样的挑战:根据实验室检测确认新冠不但费时,而且可能延误诊断和治疗。X 射线和其他医学成像技术可以快速确认新冠诊断,但这些图像又容易解释错误。

康耐视深度学习团队了解了这些挑战后认识到,他们为生产线自动化和优化而设计的软件包可以为疫情响应提供医学成像的解决方案。

深度学习和医学成像的两者结合价值

X 射线等医学图像是确认新冠诊断的关键 - 为医生和放射科医生提供实验室测试准确性的可视化证明。另外,深度学习软件可以分析成千上万的医学图像并确认能否支持某一诊断的异常情况,从而减轻医生负担。

这里只有一个障碍:最常用的开源深度学习工具不但难用,而且需要大量的编程专业经验。希望医生、放射科医生等医疗卫生工作人员掌握这些工具是不现实的。

康耐视的 AI 专家团队开始着手解决这个障碍,但有一个基本问题:康耐视的工业自动化软件能否提供简单易用且可以媲美最常用开源深度学习工具性能的替代工具?

这个假设的开放测试展示了很高的潜力。根据康耐视深度学习专家组成的五人团队的研究,公司先进的机器视觉软件的准确性可以媲美甚至超过世界上的主要开源深度学习工具。

这项名为“使用深度学习通过胸部 X 光片检测新冠:康耐视 VisionPro Deep Learning 1.0 软件与开源卷积神经网络的对比”的研究吸引了各大研究出版商的注意。合著者有 Arjun Sarkar、Joerg Vandenhirtz、Jozsef Nagy、David Bacsa 和 Mitchell Riley,他们都是康耐视生命科学团队的成员。

“我们很惊讶使用软件区别 X 射线图像上的病理是如此简单,”康耐视生命科学高级 AI 专家 Vandenhirtz 说。“让人类区分 X 射线图像上的各种病理几乎是不可能的。对于这种图像,五个放射科医生可能给出五种不同的解释。”

Vandenhirtz 协助了这项研究,以将公司的高级机器视觉技术扩展应用到医疗卫生和生命科学领域。全球新冠疫情紧急,而新冠胸部 X 射线图像的一个大型数据集 COVIDx 为研究提供了测试影像。他雇佣了在德国亚琛应用大学研究生物医学工程的硕士研究生 Sarkar 做这项实验,并在研究报告中总结了他的发现。

Vandenhirtz 说,Sarkar 在使用谷歌领先的深度学习平台 TensorFlow 方面有丰富的经验。TensorFlow 需要程序员在文本终端界面建立自己的模型。而 VisionPro Deep Learning 有一个友好的 GUI,不需要任何编程经验。

COVID-19 GUI (1)

基于对新冠和深度学习的研究

康耐视的研究以加拿大安大略滑铁卢大学的研究结果为基础。研究“COVID-Net:定制深度卷积神经网络探测胸部 X 射线图像中的新冠病例”中的 COVIDx 数据集中收集了近 14,000 份胸部 X 射线图像。合著者 Linda Wang 和 Alexander Wong 使用了开源深度学习包建立 COVID-Net,这是用于分析 X 射线的成熟神经网络,可以识别有新冠症状的肺部。

滑铁卢大学的一组研究人员建立了一家名为 DarwinAI 的创业公司开发商业深度学习软件,以利用 COVID.Net 等资源的价值,这虽然有很大的前景,但仍然有最基础的易用性问题。

“现在它只是供数据科学家使用的非常技术性的东西,还不能面向放射科医生或医疗卫生工作人员,所以需要将它包装在合适的应用 UI 中提高它的易用性,使不是很懂技术的人也能使用,”DarwinAI CEO Sheldon Fernandez 在 CDNet 的一次访谈中说

康耐视的研究人员理解这些限制的含义。VisionPro Deep Learning 是为生产领域的康耐视客户开发的。它采用易用的设计,使工厂经理和技术人员能够使用深度学习分析生产线上的图像,从而保证质量,避免有缺陷和损坏的产品流入市场。

例如,在一家汽车工厂中,康耐视机器视觉相机可以拍摄挡泥板和发动机组等零件的数字图像。VisionPro Deep Learning 扫描这些图像并寻找人类检测员容易漏检的划痕、凹陷和其他异常。提前标记这些缺陷可以提高生产线的生产效率并提高产品质量。它还可用于分类零件或缺陷,以及定位零件和验证装配。这种类型的检测任务因为原本需要人类进行判断,所以通常是人工完成的,或者完全不做。

VisionPro Deep Learning 在 COVIDx 数据集上的表现

一项名为 F-score 的评估对尝试准确地预测数字图像模式和异常的深度学习系统的整体准确性进行了评估。康耐视的研究人员分析了 COVID-Net 数据集中的近 14,000 张 X 射线图像。这些图像分三类:正常,非新冠肺炎和新冠。

COVID-19 X 射线图像 (1)

正如此对比多个深度学习包的表格所示,COVID-Net 生成了很强的预测性结果,范围为正常图像 92.6% 到新冠图像 94.7%。VisionPro Deep Learning 做得更好,正常 X 射线图像 95.6%,新冠 X 射线图像 97.0%。

新冠结果

当然,这只是一个研究。虽然康耐视团队使用了行业标准技术进行研究和统计分析,但仍然需要看其他研究人员能否重现这些结果。

Vandenhirtz 表示公司的主要短期兴趣是将这种软件的能力告诉全球医学社区,而且它在 CT(计算机断层)扫描方面也展示了很有潜力的结果。它也可以在依赖视网膜图像或数字病理学(使用组织学切片的显微图像)的眼科等领域发挥作用。

虽然深度学习算法能力很强,但它并不能完全代替人类医生的智慧,Vandenhirtz 说。但是,就像听诊器或血压袖套一样,它是一种有用的工具,可以帮助医疗卫生专业人员更好地完成工作。

在这个意义上,康耐视 VisionPro Deep Learning 软件提供了一个有用的热图功能,可以高亮显示图像中有分类意义的区域。黄色到红色区域是重要的,而绿色到蓝色区域对判定算法没有重要意义。

在现实中,这个热图功能不仅使工具能够推荐可能的诊断(例如新冠阳性或阴性),还可以识别检测到相应疾病症状的区域。这是有重要意义的,因为它能帮助放射科医生细读图像中的特定区域,从而验证或驳回 AI 诊断,避免使用错误的原因做出无用的正确判断。

新冠热图

“我们认为,至少在短到中期,AI 还不能完成诊断,”他总结说。“VisionPro Deep Learning 可以提供建议,但是最终还需要放射科医生来判断图像的意义。”

“虽然 AI 不能代替放射科医生,”他补充说,“但它将替代不使用 AI 的放射科医生。”

更多帖子

获取产品支持和培训以及更多

加入 MyCognex

是否有任何疑问?

世界各地的康耐视代表可以随时为您提供支持,满足您的视觉和工业读码需求。

联系我们