NPU 人形识别技术助力病患护理

配备 NXP 神经处理单元的康佳特 AI 入门套件

在生物工程应用领域 (包括诊断、除颤器、微创外科手术中的实时影像),嵌入式集成的实现方式决定了 AI 系统的成败。预配置的嵌入式模块可帮助开发者更快为医疗应用找到适用的解决方案。为此,康佳特开发了解决方案平台,该平台基于恩智浦(NXP) i.MX 8 Plus 处理器并配备了集成式神经处理单元(NPU),让它能够像真人一样协助护理病患。

用于恢复心率的除颤器

2021 年 6 月 12 日傍晚 6:43,整个足球界都屏住了呼吸:在丹麦与芬兰的一场欧洲杯比赛中,丹麦球员Christian Eriksen 倒下了,他的心脏停止了跳动。幸运的是,医生就在旁边并迅速使用除颤器设备来挽救他的生命。现在,非专业医疗人员也可以操作它了。在现代计算机技术的支持下,AED(自动化体外除颤器)可被编程以进行急救电击,并以全自动的方式使心率恢复正常。用户只需要把两个粘性电极贴到右锁骨和左腋窝之间,剩下的流程将由其内置的处理器来控制和计算。NXP 的 i.MX 8 应用处理器平台就是其选用的内建处理器。

具备 AI 计算机技术的 AED 可全自动地恢复病患的正常心率,从而拯救生命。

采用 NXP 处理器的生物工程学应用

除了除颤器,使用 NXP 技术的电子医疗解决方案在医学领域还有很多应用,比如病患登记、分析和诊断、外科手术、病床护理等。为了提高采用 AI 的医学应用的效率,NXP 为其新款 i.MX 8MPlus 处理器配备了一个用于深度学习和机器学习的神经处理单元(NPU)。神经形态处理器的设计灵感来自大脑的神经网络,在图形识别方面经过优化,在执行此类任务时的耗电量比普通 CPU 要少。同时,这类低功耗 NPU 具有每秒数兆次的运算能力(TOPS),为智能电子医疗解决方案的开发者们开辟了新的可能。

提升病患福祉的全天候数字医疗助手

NPU 加速的 NXP i.MX 8M Plus 处理器能通过 AI 引擎达到 2.3TOPS 的运算能力,并具有 4 个 ArmCortex-A53 核心和 1 个用于传统计算任务的 Arm Cortex-M7 控制器。它还具有一个图像信号处理器(ISP),用于高分辨率图片及视频的并行实时处理。

由此,它能够在图像获取阶段预处理并准备好成像数据,让NPU 更快地提供更清晰的结果。这对于需要实时高精度画面信息的场合(例如各种成像操作和微创手术)尤其有益。在麻醉机中,具备 AI 加速器的 i.MX 处理器也能帮助手术团队精准地管控麻醉剂量。监控设备会控制麻醉机的压缩气体的流动,气体随后会通过雾化器,最后的混合气体则会通过病患的呼吸系统排出。

AI 嵌入式应用配备了基于边缘的实时图像处理 AI,可协助医生在手术室中执行微创外科手术。

AI 在放射诊断学和病床护理中的用途

配备 AI 后,放射诊断设备能分析 X 光机和超声波仪器的信息,并将这些信息用于诊断。例如,医生在用 CT 扫描仪检查肺部时,可以查看整个胸腔的情况,从而检测出冠状动脉的钙化现象。在为病患规划综合治疗方案并确定治疗手段时,这些额外信息尤其有用。AI 系统会对比病患的数据和软件中的参考数据。任何的不符和异常记录都会以图片形式被标注,让医生能够更深入地检查相应的部位。

在病床护理方面,具有 NPU 的处理器相当于一个加强病患护理的数字助手。电子化操作的病床所配备的 AI 能够记住让病患舒适的位置,以及他们坐立或起床时所需的支撑力度。AI 应用还能监控生命体征,例如血压、体温或心电图数据,并控制输液泵。这样就能控制血液、药剂、营养液等液体向病患循环系统的输送。此外,AI 解决方案还能帮助医务人员与病患交流,尤其是在病患因药物状况无法清晰说话的情况下。

简化人机互动

通过触屏、语音、增强现实(AR)设备来操控的医用人机界面也受益于 AI。有了集成式 AI 处理器,不仅麻醉和病床护理时的病患监控系统操作有所简化,相关的早期警告系统也能被其激活,减轻医生和护士的工作量。此外,AI 解决方案正广泛用于病患入院时使用的入院登记机。它们可根据实时的血糖、肺部功能等生命体征数据,为紧急入院情况下的医务人员提供治疗建议,从而避免危险的医疗事故。在未来,开发者还打算让 AI 创建病患的数字孪生,对疗法进行虚拟测试,让医生能评估药物或疗法的潜在效果并减少风险。

在所有这些用例中,重要的是医疗设备必须具有足够的算力,用来自动记录和评估信息。这就需要在手术室、急诊部、ICU 病房中配备独立于云端的 AI 边缘系统,避开云端的数据评估流程,从而减少延迟,让设备在任何网络环境下都能顺畅运行

用于病患护理的紧凑型入门套件

为了在各种可能的 AI 应用领域加快 i.MX 8M Plus 处理器的推广,康佳特设计了一款入门套件,让开发者能够快捷、安全地实现边缘生物工程类应用。考虑到医疗应用的复杂多样,不言而喻,入门套件必须使嵌入式应用完美适配。为此,康佳特开发了一款信用卡尺寸的 SMARC 2.1 计算机模块,配备一个i.MX 8M Plus 处理器。其集成的 NPU 可加速 AI 边缘推理的本地执行,且无需持续连接云端。对于基于视觉的任务,该模块集成了硬件加速的视频编码和解码功能并采用了尤为高效的 H.265 视频压缩标准。由此,即使是来自 2 个集成式 MIPI CSI 接口的高分辨率的视频流,也能够通过网络直接传输到其它的电子医疗解决方案或医院图像存储与传输系统(PACS)中。

透过 eIQ 实现定制化适配

在软件方面,NXP 提供了“eIQ 机器学习”平台。“eIQ”指边缘智能。AI 系统的开发者可访问一个为NXP 的微处理器和微控制器定制的开发环境,它囊括了各种库和开发工具,还包括多种基于软件的推理引擎,可将逻辑规则应用于数据或信息,从而推理出新的发现。eIQ 支持多种推理引擎和库,例如 Arm Neural Network (NN)和开源的 TensorFlow Lite 等。

来自 Basler 的 AI 观察眼

用于各种具体应用的设计是透过 3.5 英寸的载板来实现的。它相当于数据通信的中央接口,将所有必要的外设连接到模块。例如,它具有 2 个 MIPI CSI-2.0 接口,让摄像头无需额外的转换模块就能轻松连接。入门套件配备了 Basler dart BCON MIPI 摄像头,但只要符合 MIPI CSI 标准,在康佳特套件的支持下,也可选用其它 OEM 的摄像头。在软件方面,Basler pylon 摄像头软件套件还提供了一套统一的 SDK,用于 MIPI CSI-2.0 以外的接口,并允许通过 USB 3.0 或 GigE 接口来操控摄像头。凭借集成式 Basler 软件包,开发者可以方便地使用核心的 AI 视觉功能,例如触发。这样就能超快地提供定格画面和高度差异化的摄像头配置选项。不仅如此,软件还为各种客户提供了针对性的推理算法,它们基于Arm NN和TensorFlow Lite引擎,能够完全发挥NPU的性能。

预配置的入门套件不仅能节省医用视觉系统的开发时间,还采用了市面上成熟的技术和现行标准,确保使用安全。Arm Cortex-A 处理器和 NPU 在医疗设备中相结合,在无需或仅需少量人为干预的情况下,即可通过传感器数据得出正确结论,进而做出智能决策。

AI 是全方位的医务帮手

AI 已被用于医学实习、医院、护理设施,在各种环境下协助医护人员完成重要任务。无论是否具备视觉处理功能,各种电子医疗解决方案都可通过 AI 协助的深度学习和机器学习,被用于具体的应用领域中。

面向 AI 视觉的康佳特入门套件集成了各种组件,采用 Basler dart 作为摄像头、具有 2个 MIPI CSI接口的SMARC 2.1 载板作为传输接口,以及一个 SMARC 2.1 模块作为处理器。

AI 视觉用的中央处理单元:conga-SMX8-Plus SMARC 2.1 模块以仅仅6W 的 TDP(热功耗)为边缘设备赋予神经形态智能

在探索 AI 的无限可能时,简单快速的应用开发至关重要,这使得康佳特预配置入门套件迅速脱颖而出,因为它们在加快开发流程的同时,还提供丰富的选择,能够充分发挥搭载了智能 NPU的边缘处理器的算力。

作者: Martin Danzer, 德国康佳特产品管理总监