文献第40期——人工智能帮助优化临床血糖管理

今日阅读一篇AI模型与糖尿病有关的文章，来自《Nature Medicine》。

题目是《Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial》

《强化学习优化2型糖尿病血糖控制：一项概念验证试验》

通讯作者陈颖，现于复旦大学中山医院内分泌科工作。

综述

2型糖尿病（T2D）治疗的个人剂量和及胰岛素方案的优化是一个颇费资源的挑战。本文提出一种基于模型的强化学习（RL）框架（名为RL-DITR）。在对T2D住院患者进行评估后，与其他深度学习模型和标准临床方法相比，RL-DITR实现了更优的胰岛素用量方案【平均绝对误差(MAE)为1.1 ± 0.03 U】。

研究者进行了从模拟到实际的循序渐进的临床验证，通过盲法回顾的定量(MAE为1.18 ± 0.09 U)和定性指标分析，显示AI系统对出住院患者在血糖控制方面的表现优于初级和中级医生。此外在16名T2D患者中进行了单臂、患者盲法、概念验证可行性试验。

主要结果是在试验期间平均每日毛细血管血糖差值，从11.1(±3.6)降至8.6(±2.4) L−1(P ＜ 0.01)，满足预先指定的终点。未发生严重低血糖或高血糖伴酮症。

正文

在本研究中，研究者构建了一个T2D住院患者的电子健康记录大型数据集（EHRs），连续记录至少7日的胰岛素使用方案和血糖反应。每位患者被表示为特征向量的时间序列，包括人口统计、血生化检测、药物和胰岛素使用信息。

基于连续的住院患者EHR数据，开发了一种基于RL的动态胰岛素滴定方案(RL-DITR)，该方案包括跟踪个体血糖状态变化的患者模型和用于长期护理的多步规划的策略模型。

此外，引入了SL（强化学习模型），通过使用临床医生的专业知识来确保安全，同时通过与动态环境的反复试验交互来优化结果，这可以模仿并潜在地增强医生在临床决策中的作用。

为了验证临床实用性进行了一系列评估：

（1）使用定量指标和定性评估对人工智能与医生进行的内部验证；

（2）使用定性临床评估和重测对人工智能和内科医生的外部验证；

（3）基于重测的前瞻性部署研究；

（4）一项最终的概念验证可行性临床试验。

临床评估表明，RL-DITR系统可以提供潜在的动态管理皮下注射胰岛素改善T2D住院患者血糖控制的益处。

结论

数据集特征和系统概述

共有12,981名T2D住院患者119,941天被纳入AI模型发展阶段分析。平均年龄59.2 ± 14.5 ，女性占42.6%。患者的基线特征见于扩展数据表1。

为了将患者信息表示为一个动态的演化过程，将患者数据处理为多维的时间标准化特征。使用ClinicalBERT预训练模型和自然语言处理(NLP)流水线从真实世界的数据中提取与临床相关的序列特征(方法)。将所有特征离散化到7个时间步长，以获得多维时间特征。

图1.T2D患者动态胰岛素剂量滴定AI系统从开发到部署的示意图

a.AI系统模型的发展—基于RL-DITR系统的模型包含“患者模型”与“决策模型”。左边，构建了一个大型的多中心EHR数据集，包括T2D住院患者的长期连续临床观察和用药记录。中间，以标准化的时间序列数据作为输入，患者模型产生隐藏状态转移、状态预测和奖励估计。右边，通过将患者模型作为环境进行交互来优化策略模型。

b.全面评估AI系统，逐步融入现实世界的临床工作流程。左边，进行了多中心的回顾性研究，包括在内部和外部队列中进行定量和定性评估。在HIS部署人工智能后，在某学院医院进行了一项前瞻性研究，并进行了重测。右边，进行了一项概念验证可行性试验，以评估人工智能系统的血糖控制和医生满意度。

研究者提出RL- DITR是一个基于模型的RL，由两个部分组成:

一个是通过学习环境动态来表征糖尿病进展状态的患者模型，另一个是通过对学习模型进行规划来管理糖尿病的政策模型。具体来说，患者模型通过动态函数和预测函数来表征糖尿病状态。

给定患者从入院到时间步长T的轨迹时间特征(如入院状态、住院观察和治疗计划)的输入，动力学函数生成患者的隐藏状态。然后迭代地更新隐藏状态，然后在K步之前循环展开。在每个时间步长T + k (k ＜ k)，预测函数接收前一步生成的隐藏状态作为输入，输出对临床状态的预测，包括血糖值和血糖控制的“目标范围内”(WTR)(图1a和扩展数据图1)。

WTR表示每个时间点的血糖值在3.9-10.0 mmol L−1的目标范围内。

扩展数据图1.AI系统的发展

a、人工智能系统中患者模型和策略模型的顺序决策过程。给定一个轨迹，对于初始步骤，表示函数fR接收来自轨迹的过去观测值O1:t作为输入。该模型随后循环展开K步。在每一步κ∈[1,K]，策略模型π接收到隐藏状态st+ K−1，并在+ K−1处产生动作。患者模型的动力学函数fT随后接收前一步的隐藏状态st+k−1和+k−1处的动作作为输入，产生下一步的隐藏状态st+k，患者模型的预测函数预测糖尿病状态yt+k−1。隐藏状态和操作会定期更新。

b、AI系统培训管道。左边是病人模型学习，用于病人跟踪。给定隐藏状态st和实际动作at，患者生成预测状态yt来估计当前状态yt，并产生下一个状态st+1。估计奖励r * t与实际奖励rt的比较是由y * t计算出来的。以状态转移一致性损失LT和状态预测监督损失Lp为目标，对患者模型进行联合优化。右边，结合监督学习和强化学习的动态方案的策略更新。策略模型π接收隐藏状态st，然后生成动作 t。

随后，患者模型接收前一步的隐藏状态和动作at作为输入，产生下一步的隐藏状态st+1并返回奖励r * t。策略模型π以联合强化学习LRL1、LRL2和监督学习LSL为目标进行联合优化。

然后，构建政策模型，对长期护理进行多步骤规划。在每个步骤中，通过与患者模型作为环境进行交互来优化策略模型。策略模型通过融合基于SL和患者模型的RL以及联合学习进行训练。通过基于患者模型的RL，政策模型可以学习个性化的治疗轨迹，改善长期临床结果。同时学习临床医生在合理剂量范围内使用SL治疗T2D患者的治疗实践。

人工智能模型预测患者血糖状态的性能

为了建立一个动态的、个性化的人工智能临床医生来管理T2D患者，构建了基于模型的RL框架。首先测试了患者的血糖变化轨迹是否可以通过两个验证集的患者模型预测，包括内部测试集和外部测试集。对于实际状态轨迹和基于模型的状态滚动的比较，在内部测试和外部测试集中，预测的葡萄糖值都准确地遵循过渡趋势（图2a、b）。

案例研究结果还表明，人工智能模型能够在大时间步长(k = 7)上生成患者葡萄糖状态的个性化信息。对于总体血糖预测，将个体水平的预测汇总到群体水平的结果中，然后将其用于进一步分析。AI模型在内部测试集中表现良好，Pearson相关系数(PCC)为0.70(95%置信区间(CI): 0.70, 0.71)，平均绝对误差(MAE)为2.13 (95% CI: 2.12, 2.15) mmol L−1(图2c)。

在外部测试集上进行评估时，AI模型的PCC为0.71 (95% CI: 0.70, 0.72)， MAE为2.28 (95% CI: 2.25, 2.30) mmol L−1(图2d)。如扩展数据表2所示，结果表明此模型比其他基线模型有了实质性的改进。

图2.

a,b，内部测试集(a)和外部测试集(b)患者的实际患者轨迹和基于模型的状态滚动的比较。每个基于单个患者的预测值，都是在前一天最后一个时间步的K步内生成的(提前1天K = 7)。蓝色曲线是测量的患者血糖值，橙色曲线是预测的血糖值。

c,d，内部测试集(c)和外部测试集(d)中使用AI葡萄糖模型生成的预测血糖值与实际血糖值的相关性分析。

e,f，显示每日WTR预测在内部测试集(e) (n = 20,961治疗日)和外部测试集(f) (n = 16,077治疗日)上性能的ROC曲线。每个预测值都是基于前一天的最后一个时间步。箱形图显示了中位数(中线)、四分位数范围(铰链)和1.5×四分位数范围(须)(n = 1000个样本的bootstrapping)。我们的RL-DITR系统生成的每个值都代表了一个个人水平的预测。然后将这些数据汇总起来，得出人口水平的结果。相关分析显示，c和d的CI值为95%。AUROC，受者工作特征下面积;ROC，接收机工作特性。

研究了患者预后(WTR比率)与患者模型估计的累积奖励之间的相关性。AI模型表现出良好的性能，内部测试集的Spearman相关系数(SCC)为0.80，外部测试集的SCC为0.73(扩展数据图2e,f)。研究者观察到，低累积奖励的治疗行为与低WTR比率相关，而高累积奖励的治疗行为在高WTR比率下获得了更好的血糖结果。结果表明，患者模型评价与临床结果高度相关，可作为RL模型的交互环境。

e-f，目标范围内血糖比率(WTR)与临床医生治疗行动的估计累积奖励的相关性分析。e为内部测试集，f为外部测试集。阴影区域表示95%置信区间。

人工智能系统的概念验证可行性临床试验

与治疗期的前24小时相比，在治疗期的最后24小时观察到7点毛细血管血糖谱有相当大的改善(图6b)。

与治疗后24小时相比，AI治疗前24小时的平均每日血糖、餐前血糖和餐后血糖均下降，分别从11.1(±3.6)mmol L - 1降至8.6(±2.4)mmol L - 1、10.2(±2.8)mmol L - 1降至7.8(±2.2)mmol L - 1和12.3(±4.2)mmol L - 1降至9.7(±2.4)mmol L - 1。试验结束时，70.3%的餐前血糖达到5.6 ~ 7.8 mmol L−1的目标范围，68.8%的餐后血糖达到＜10.0 mmol L−1的目标范围。人工智能干预期间七点血糖的患者示例如扩展图7a所示。

讨论

由于人体代谢的复杂性，糖尿病患者的血糖管理仍然具有挑战性，这就要求开发更适应和动态的血糖调节算法。传统的胰岛素滴定在很大程度上依赖于医生的经验，遵循临床指南。为了应对个性化胰岛素滴定算法在血糖控制方面的挑战，我们基于RL的架构专为个别患者量身定做，在临床监督下实现精确治疗。

首先，我们构建了一个患者模型，作为中间步骤，为策略模型提供环境动态(葡萄糖动态)的知识。我们提出的基于患者模型的RL模型可以进行多步骤规划，以提高处方一致性。

此外，由于多步骤计划可以被解释为从现在到未来一段时间内模型的意图，它为解释提供了更多的信息和直观的信号。此外，我们基于RL的系统为正在接受皮下胰岛素注射的T2D患者提供连续和实时的胰岛素剂量建议，将临床决策的最佳策略与经验丰富的医生的模仿相结合。

此研究的另一个优势是，在各种临床场景中对基于人工智能的临床决策系统进行了全面的早期临床验证。这些验证被视为护理和质量保证审查的标准，评估人工智能系统的临床性能，并为其从开发到采用到临床实践的有效整合提供基础。在临床部署中，此人工智能框架提供了潜在的好处，包括自动读取来自EHR的大量输入，集成复杂的数据和可访问的胰岛素剂量界面。用户友好的界面，旨在与医生的工作流程保持一致，在常规临床实践中获得了更多的采用意愿。