更快、更智能的成像为从 4D 建模到更高分辨率和更少噪声干扰的一切医疗影印成像应用打开了大门。
机器学习正在与医学图像处理相结合，医学图像处理是医学诊断和手术最有用的技术之一，极大地扩展了可以从扫描或 MRI 中收集的有用信息的数量。
在大多数情况下，ML 被用于增强当今医务人员使用的手动流程的效果。虽然目标是使这些功能中的许多功能自动化，但尚不清楚临床使用的速度有多快。自动化医疗诊断仍然是一个新领域，如今它掌握在初创公司和大学研究人员手中。尽管如此，它预计将快速增长。事实上，IDTechEx 预测，基于 AI 的基于图像的医疗诊断将成为一项大业务，到 2030 年将超过 30 亿美元，它涉及五个领域——癌症、心血管、呼吸系统、视网膜和神经退行性疾病。
图像处理已在医学领域部署了数十年，但可以从这些设备获得的数据类型仅限于对结果进行人工审查。 Flex Logix 营销总监 Sam Fuller 说：“许多 DSP 和信号处理技术在医疗领域都找到了很好的归宿，但这些技术主要用于捕捉图像，并能够以数字方式存储它们。”
图像处理是对由阵列中不同强度的像素组成的 2D、3D 甚至 4D 数字图像的摄取和分类。图像来自各种图像或医学成像系统，例如 MRI、CT、微型 CT 或 FIB-SEM 扫描仪。例如，可以增强图像并通过形态学和分割过程识别图像的各个部分并将其标记为身体部位。得到的数据和图像然后可以通过经过训练的机器学习算法以找到感兴趣的区域。
训练有素的放射科医生阅读这些图像——无论是否有图像处理系统的帮助，他们都会这样做。增加了机器学习功能之后，他们可以更快地确定感兴趣的区域，并关联来自之前和未来图像的数据。而这一切只是开始。
用于医疗、手术导板的 3D 打印例如，Simpleware（2016 年被 Synopsys 收购）开发的软件和扫描 IP 正在临床和教育环境中用于制作特定于个人的身体部位的 3D 打印模型。 “我们正在开发从图像到模型的工具软件，”生物医学工程师兼新思科技 Simpleware 业务开发经理 Kerim Genc 说。
该软件从 MRI、CT、显微 CT、FIB-SEM 扫描仪中获取 3D 和 4D 医学图像数据 (DICOM)，并清理图像数据。然后它对特定解剖结构的图像进行分割。
“我们进行了培训，它非常轻巧，”Genc 说。 “它可以在本地的任何笔记本电脑或 PC 上完成。我们进行所有培训，我们为此进行所有推理，并且可以将其部署到客户身上。 3D 是您通常得到的图片信息。例如，4D 是您可以扫描心脏跳动的时候。所以它不仅在空间的三个维度上，而且增加了在时间上的维度。”
这些图像来自临床扫描的堆栈。分割是获取扫描堆栈并将它们放在 3D 数字模型中的过程。 Simpleware 在没有重型 AI 加速器的情况下，比人类技术人员更快地进行这种分割。它的软件在台式计算机 GPU 上运行。该过程生成可用于 3D 打印或导入 CAD 和 CAE 程序的文件。
“你可以做一些事情，比如进行术前虚拟测量，执行某种虚拟手术计划，”Genc 说。 “你可以在外科医生真正去看病人之前为他们制定计划。” 3D 模型进行即时 (POC) 3D 打印——在医院或诊所打印 3D 模型以获得患者解剖结构的物理模型，用于术前规划、培训和教育。 “例如，如果你需要在病人的骨头上安装一块钢板，通常外科医生会做的是进去，打开一个病人的相应部位，然后把它放在那个病人身上。有了 3D 打印，你们都可以提前做到这一点。”
了解何时获得监管机构的批准可能会变得复杂。当临床医生依靠模型的准确性来做出临床决策时，该软件需要在美国获得 FDA (501)K 批准才能用于特定用途。 Simpleware 的旗舰临床扫描 IP 已获得 FDA 和 CE（欧洲）批准，但它还提供非 FDA 批准的版本，可用于研究、教育和零件设计。
“人工智能工具不是 FDA 明确的，”他指出。 “那是一个不同的过程。”
诊断中的图像处理使用 AI 图像处理进行诊断是下一个重要步骤，它有望加快疾病诊断。但对于基于人工智能的诊断系统来说，这仍处于早期阶段。 “现在人工智能的出现允许理解图像，或者能够开始减轻医务人员的负担“，Flex Logix 的 Fuller 说。
使用人工智能算法进行图像处理，可以解释图像并给出诊断建议——或者至少给出一个暗示——已经引起了很多兴趣。医疗客户正在寻找人工智能训练加速器。 “医疗保健/医疗领域的人工智能是发展中最强大的人工智能领域之一，每个人都在跳上这趟火车，”赛灵思医疗保健与科学部门负责人 Subh Bhattacharya 说。
影像处理是医学诊断的重要工具。 “这是我们的利基市场，”Flex Logix 销售和营销副总裁 Dana McCarty 说，该公司正在开发边缘 AI 推理加速器 InferX X1，以及编译器和其他支持选项。 “我们非常专注于高清实时图像处理。我们开发了针对该领域进行优化的芯片——机器视觉、计算机视觉类型的东西。”
正在进行大量工作来训练和改进这些应用程序中使用的算法。 “将其转化为产品，这就是我们可以带来很多帮助的地方，”Flex Logix 的 Fuller 说。 “如果算法存在，那么训练已经发生，但你希望将其构建为稳健且具有成本效益的东西。这就是整个服务很有意义的地方，因为将科学开发转化为工程产品是一个仍然需要完成的过程。”
图 1：AI 图像处理推理芯片 InferX X1，使用动态 TPU 阵列。资料来源：Flex Logix
许多芯片制造商认为这是一个巨大的市场机会。 Xilinx 的 Bhattacharya 说：“我们的产品非常好，在实现 AI 算法以进行推理方面非常有用。” “简而言之，原因在于专用 AI 处理器块、软件堆栈的可用性以及对流行网络和模型的支持。我们还有开源参考设计。从解剖几何测量到癌症检测，再到放射学、外科手术、药物发现和基因组学，当今医疗保健行业面临着非常艰巨的任务。今天的大多数用途都集中在医学成像的某种诊断帮助上，而不是实际的诊断或程序。它旨在加快琐碎的任务并提高准确性和效率。”
Xilinx 创建了一个 X 射线分类推理引擎，该引擎使用其基于 Zynq UltraScale MPSoC 的 SOM 平台来检测和分类正常、肺炎和 Covid19。该引擎可以部署为边缘设备医疗设备，并可以独立运行推理。
对推理的兴趣许多客户要求执行类似的推理任务。 Flex Logix 的 McCarty 经常看到三个不同的部分。他们之中：
图像去噪。清理初始图像。 3D 图像处理使用图像过滤来去除或减少图像中不需要的噪声或伪影。麦卡蒂说：“这是一个将模拟图像转换为数字的，所以你要清理它。” “我们的客户说，它使用户更容易看到图像。一旦图像被清理干净，放射科医生就能将其识别速度提高五倍。”噪声会使数字图像非常难以阅读。 “如果有人植入了髋关节并进行了 CT 扫描，图像数据中就会出现各种噪声。它看起来像一颗明亮的白色星星，发出类似的光芒。”
对象检测。突出显示图像中的不同之处，机器学习推理可以提供查看位置的提示。 “在清理图像后，他们会对图像进行对象检测，”麦卡蒂说。 “当他们突出显示让某人能够看到并说‘去看看这个区域’或‘是的，这是一个问题’时，速度可以提高三倍。”
姿势估计。 “这个我们才刚刚开始。步态的变化可能会发生改变，从而可以向潜在用户提供医疗数据，”麦卡蒂说。 “在体育方面——这只是非常初步的——我们正在与一家医疗机构讨论你的步态变化以及这对运动员意味着什么。”
医学图像中人工智能的另一个目标是器官分割。很难对心脏进行分割。 Synopsys 的 Genc 说：“这是一个移动的器官，它基于在内部进行相关工作的客户。” “我们说，‘好吧，这将是一个很好的产品来自动化这个过程，因为它非常困难和耗时。对于新手用户，可能需要几天的时间来分割一个心脏。即使对于专家来说，分割心脏也需要半天到一整天的过程。所以自动化非常重要。我们已经完成了 40 多个自动化。你可以看到心脏在跳动，这真的很酷。”
走出舒适区但是图像处理中的机器学习并不总是一成不变的。即使训练数据集非常好，它也容易出错。人类会犯错，但当机器犯错时，这是一个更令人担忧的主题。 “我们的期望是不同的，”富勒说。
因此，虽然能力有所提高，但在医疗领域，它们通常会格外小心。 “我们一直回避的一件事是任何诊断人工智能，”Genc 说，他特别指的是 Synopsys 的 Simpleware 产品，该产品为医生执行某些程序提供指南。 “我们只是远离诊断人工智能——那真的是狂野的西部。这就是你看到很多算法出现的地方。谷歌准备好了。这些公司获得了数据集。但是，您如何验证它们？你如何构建它们？它看起来仍然相当分散，还有很多问题，例如，“这真的有用吗？我们如何纠正它？”你会看到很多这样的文章出来，所以我们只是远离那个空间，因为它非常，“这个人是否患有癌症，是或否？”它是部署人工智能工具是一项重大责任。”
图 2：从图像创建模型。资料来源：新思科技
结论即使使用图像处理进行自动诊断还有很长的路要走，但仍在为其他医疗保健领域设计机器学习和人工智能系统，例如电子健康记录 (EHR)。在一些研究中，EHR 正在以有限的方式被挖掘以寻找可能导致更好地检测和治疗癌症的线索，特别是如果 DNA 信息是记录的一部分。
Arm 医疗保健技术总监彼得·弗格森 (Peter Ferguson) 表示：“医疗保健行业正在迅速发展，变得更加数字化，尤其是在 COVID-19 大流行期间，远程咨询变得更加普遍。” “作为这种演变的一部分，许多国家已经采用了患者记录的电子存储，并能够使用该信息来帮助更快、更有效地治疗患者——例如，使用人工智能来帮助分类医疗记录中的信息，例如 X 射线图像, 或 CT 扫描。这正在生成大量数据。据估计，一名患者每年在影像和电子病历中产生近 80 兆字节的数据。”
现在，问题是这些数据还能做什么，以及哪些公司愿意尝试。
,
