机器视觉、机器人和运动控制等自动化技术已经重塑了工业世界，而人类世界的情况又如何呢？
如今，机器视觉不仅可以引导机器人执行具有重复性和危险性的任务，还可以验证成品的质量，以保护工人和客户的安全。但如果不是一辆汽车，而是某人的阿姨呢？如果不是一块纯平屏幕，而是某人的父亲、母亲或姐妹呢？由于人员短缺、技术和流程不断变化以及全球疫情大爆发期间更加严苛的工作要求，医学实验室技术人员面临着前所未有的压力。直到最近，自动化技术一直难以采用必要的复杂技能帮助这些技术人员对世界各地数以千计甚至数以百万计的患者进行治疗。
康耐视工程师与PerkinElmer的医疗仪器专家合作，展示了作为人工智能（AI）子集的深度学习技术与体积小巧的嵌入式工业相机搭配使用如何能够克服自动化血液分离测试应用（RNA和DNA检测和疾病诊断的关键组成部分）最后余下的挑战之一。该解决方案可以帮助医生快速诊断各种疾病，包括使整个世界陷入混乱的新冠肺炎疫情（COVID-19）。
血液分离：将问题进行分解
PerkinElmer成立于1937年，总部位于美国马萨诸塞州沃尔瑟姆市（Waltham），是一家全球性医疗技术集团。5年前，该公司收购了Chemagen，为此，其向康耐视寻求解决方案，以应对检测血液分离样本中的血沉棕黄层的挑战。Chemagen在核酸分离领域处于领先地位，核酸分离技术可用于对血库进行大规模病原体检测、自身免疫和组织分析以及疾病检测。
“业界对作为潜在疾病生物标志的血浆衍生无循环DNA [cfDNA]的关注呈指数级增长，”PerkinElmer应用基因组学总经理James Atwood表示，“由于经济效益非常诱人，将血沉棕黄层作为基于血液的基因组DNA [gDNA]来源的做法已得到迅速普及。”
JANUS系统的核心是一个多波长彩色视觉系统，该系统能够采集离心分离血液样本的图像。Atwood表示，PerkinElmer团队面临的一大挑战在于如何快速采集对离心分离血液样本试管进行成像以及如何将这些图像可靠地转换为可操作的高度信息以进行血液检测。
像JANUS系统这样的血液检测分析仪依赖于精确准备的样本和测试设置。在实践中，临床医生首先抽取血液样本。然后，装有血液样本的试管将被放入离心机中，以将血液分离成以下三个组成部分：红血球、白血球（血沉棕黄层）和血浆。虽然红血球和白血球很容易区分，但血浆的颜色差别很大，范围从浅黄色到深橙色或红色，这取决于血液样本中的溶血、脂质和其他因素。
“血沉棕黄层、血浆、试管尺寸、放置位置、封盖类型及其他条件的可变性要求采用复杂的自动化解决方案，仅使用传统的确定性机器视觉软件方法无法以可重复的方式可靠地解决该问题，”康耐视生命科学团队的高级AI专家Joerg Vandenhirtz解释道，“我们可以使用传统方法正确识别大约80%的血样层，但要采集不在正常状况范围内的剩余20%的血样图像，实践则证明将传统编程与深度学习算法相结合是解决此应用的良好方法，具有高度的准确性和可重复性。”
将传统机器视觉与深度学习技术相结合
JANUS G3系统的工作最终是将离心分离血样的血沉棕黄层抽吸出来，用于进一步提取RNA/DNA。为此，该系统需要了解血沉棕黄层在现实世界坐标中的确切位置，然后自动将移液器吸头与血沉棕黄层对位并将其抽吸出来。血液分离及标签和封盖的存在与否也是进行质量评估的重要因素，这对保证高度自动化实验室中工作流程的顺畅性至关重要；显然，当系统需要确保在移液过程中取下封盖时，在试管输送过程中，试管上的封盖缺失可能会对机器或附近的血样造成污染，导致系统停止运行。所有这些自由度在外观上可能会因用于保存血样的特定试管和封盖、血样在试管架上的加载和定位方式及其他因素而有所不同。由于存在如此多基于判断的因素，这类检测通常由人工在实验室环境下完成。
“在读取标签和代码方面，传统机器视觉系统是较好的方法，”Vandenhirtz指出，“但是，在测量试管内的血样液位和颜色以及识别任何颜色或形状的封盖方面，深度学习算法可以适应生物学变化性，并且不会对检测结果的准确性产生负面影响。”
康耐视的VisionPro Deep Learning软件平台将商业级的确定性机器视觉算法和功能与可以在嵌入式或传统PC（取决于嵌入式应用类型）上运行的深度学习软件工具结合使用。深度学习软件可对被质量专家标记为“合格”或“不合格”的图像进行分析。通过分析数十个、数百个甚至数千个样本图像，深度学习软件可以像人类小孩一样“学习”什么是合格的以及什么是不合格的，而不是基于程序员设置的规则。
“在确定是应该选择传统机器视觉还是深度学习机器视觉解决方案时，需要记住的一项重要规则是，仅当产品的外观和潜在缺陷具有可预测性时，传统机器视觉解决方案才能取得良好的效果，”Vandenhirtz解释道，“深度学习解决方案更适用于评估具有不可预测特征的物体图像。以JANUS G3 Blood iQ系统为例，试管、封盖、标签和流体成分在大小、形状、颜色、位置等方面可能存在变化性。对于这种类型的复杂应用，实践已经证明，将传统机器视觉与深度学习技术结合使用在测量试管和内部样本的特征方面更为有效。”
使用深度学习软件分析离心分离血液样本
当操作员将一排试管样本装载到JANUS G3 Blood iQ系统中之后，整个分析过程将从在两台康耐视Advantage视觉相机之间移动通过的单排试管开始，包括一台Advantage 102彩色相机和一台Advantage 100单色OEM相机。每台Advantage视觉相机都包含板载AE3视觉引擎模块，这使超紧凑型视觉系统能够运行康耐视的In-Sight嵌入式图像处理算法，同时连接到附近的嵌入式PC上运行深度学习软件以进行高级图像处理分析。
一台Advantage 100相机使用边线检测工具和康耐视专有的IDMax算法读取用于识别每个试管的代码标签，另一台Advantage 102彩色相机则在两种不同颜色的光源下采集每个试管的两个图像，其中首先是白色光源，然后是蓝色光源。
然后将第一个“白光”图像从Advantage 102彩色相机传输到在JANUS G3 Blood iQ仪器内的主机PC上运行的VisionPro Deep Learning软件，该软件将使用四个基本工具集中的分类工具来确定图像是白光照明还是蓝光照明。白光提供一种宽带光源，用于检测血样上部的血浆高度（无论血浆颜色如何）以及试管顶部和封盖（可能为任何颜色），而蓝光则高亮显示由白血球形成的血沉棕黄层。Advantage 102彩色相机上运行的康耐视In-Sight算法可以将深度学习软件的血样层检测结果转换为现实世界的测量结果。然后，JANUS G3 Blood iQ机器使用血沉棕黄层的深度来确保移液器处于正确位置，以进行血沉棕黄层的抽吸，用于进行最终分析和诊断。
深度学习解决方案缩短了产品开发时间
深度学习软件程序通过两个步骤创建。第一步是训练，其中，该软件程序将分析带标签的图像，以了解什么是合格的以及什么是不合格的。第二步是推理或部署深度学习软件程序来完成工作。由于该软件程序在学习新的检测例程时会详细分析图像，因此深度学习软件的训练部分比传统机器视觉算法的计算强度更大。由于这个原因，深度学习软件解决方案的开发通常是在工作站上进行的，那里拥有大量的计算资源。在对深度学习神经网络进行训练并达到设计人员的要求之后，该软件程序就可以在标准PC或嵌入式边缘计算设备上运行了。
JANUS G3 Blood iQ设备内部运行的深度学习软件将首先确定图像是白光照明还是蓝光照明。如果是白光照明，该软件将定位试管中的血浆层类型，并将其与血沉棕黄层的位置和厚度及试管尺寸等信息关联起来，然后将这些信息传输给JANUS主机。
“康耐视VisionPro Deep Learning软件经过精心设计，只要您会操作Microsoft Office软件，那么您就会对深度学习机器视觉解决方案进行编程，”Vandenhirtz解释道，“我们的集成式软件环境意味着像PerkinElmer这样的客户只需使用数百个图像而不是数千个甚至上万个图像就可以构建深度学习解决方案，从而缩短了OEM客户的产品上市时间。不同于其他深度学习解决方案，康耐视使用以下四种基本工具：定位、分析、分类和读取，这使得您在开发解决方案时更容易对其进行调试。如果使用开源或端到端解决方案，设计人员将别无选择，只能通过添加更多图像来训练神经网络，并希望能够改进软件的性能。开源或端到端解决方案的这种“黑匣子”特性正是医疗领域的开发人员目前仍然不愿意使用这些新技术的原因。借助VisionPro Deep Learning软件，设计人员可以将复杂的问题分解为较小的任务，这些任务可以单独进行优化，因此更易于理解和维护。”
JANUS G3 Blood iQ系统于今年1月推出，受到了实验室和临床界的一致好评。“今年早些时候，我们的团队推出了仅供研究用的JANUS G3 Blood iQ工作站，”来自PerkinEmer公司的Atwood表示，“该项目源于支持分馏血液智能移液的需要，它是我们行业领先的chemagen™核酸提取技术的前端液体处理平台。康耐视生命科学OEM团队向我们提供了大力支持。从项目启动到成功实施完成，我们一直都与康耐视合作，他们在基于机器图像的深度学习和视觉技术方面的专业知识对我们而言非常宝贵。”
