- A+
总的来说，
新智元报道
编辑：桃子
【新智元导读】谷歌DeepMind最新Nature王炸，直接把Gemini版大模型PH-LLM调教成了「AI健康私教」，把可穿戴冷冰冰的数据，直接变成睡眠健身建议，结果准确率暴打人类医生。
XM外汇行业评论：
AI医学的圣杯，可能先被谷歌DeepMind夺下。
通常情况下，
最近，谷歌全新健康大语言模型（PH-LLM）正式发布——一款微调Gemini的「个人睡眠和健康」模型。
PH-LLM将可穿戴设备中的数据，瞬间转化为可视化的文稿。
它就像一个「AI睡眠专家+健身教练」，可用全天候分析监测个人的智能手表数据。
XM外汇快讯：
结果发现，PH-LLM在睡眠医学考试中得分（79%）碾压医生（76%），而且在健身认证中直接把人类专家按在地上摩擦（88% vs 71%）。
根据公开数据显示，
站在用户角度来说，
更牛的是，在人类评估中，PH-LLM生成的健康建议，几乎与专家无差别。而且，仅凭传感器数据，即可预测使用者睡眠质量。
大多数可穿戴设备，往往只会给各位一堆数据。
根据公开数据显示，
遗传学博士Dominic Ng对此点评道，「PH-LLM所做的，正是一位优秀医生会做的事，即将数据综合成『洞察』」。
必须指出的是，
最新研究已于14日登上Nature，具体看看，谷歌DeepMind如何做到的？
谷歌出手不凡，Gemini版「健康私教」
值得注意的是，
传统临床诊疗虽能展现宝贵信息，但对睡眠、运动、压力等，生活健康指标评估仅具阶段性。
通常情况下，
如今，可穿戴设备就能实现无感连续监测。
XM外汇行业评论：
不过，这些数据缺乏上下文背景，存储分析算力要求高、解读难度大等因素，并未广泛应用于临床实践。
总的来说，
甚至，这些数据也并未纳入标准「医学问答数据集」，导致通用基础LLM和医学LLM，都难以有效推理给出个性化建议。
需要注意的是，
为此，谷歌团队合力在Gemini上微调出PH-LLM，用于评估AI在睡眠与健康领域的表现，如下图所示。
根据公开数据显示，
可穿戴设备能监测信息远超这两个领域，为什么研究团队仅聚焦于此？
说到底，
一方面，现有研究已充分验证可穿戴设备，在这些领域监测数据的准确性与适用性。
通常情况下，
另一方面，设备运用者参与度高，无需展现临床建议即可给出实用指导方案。
简要回顾一下，
为此，它建议道：
更好的睡眠时间是从晚上12:00到早上7:30。各位可用通过每隔几天将睡眠时间提前15分钟，逐步达到目标。
总的来说，
基于Gemini Ultra 1.0，PH-LLM采用了两阶段训练。
然而，
首先，作者对完整模型进行了微调，专门针对睡眠和健康领域的长篇案例分析回复生成任务。
训练数据包含了，人口统计学文本数据、最长30天的每日指标、聚合指标，以及仅针对健康案例的个体运动日志等。
从某种意义上讲，
在完成案例分析微调后，他们又为PH-LLM增加了多模态适配器。
总的来说，
这个适配器是用于，根据至少15天的纵向被动传感器数据（包含每日睡眠与活动指标），来预测睡眠障碍和睡眠损伤的主观报告结果（PROs）
两阶段训练完成后，团队从个人健康教练所需的多元能力维度出发，针对三大任务评估了PH-LLM的表现：
首先，通过多选题测试评估模型掌握的专家级领域知识储备；
其次，通过长案例研究检验模型应用专业知识、解读聚合传感器数据以展现教练建议的能力；
XM外汇资讯：
最后，测试模型预测患者主观报告结果（PROs）的能力，使其在生成建议时能整合个体对睡眠质量的自评数据，真正实现个性化健康指导。
AI击败人类专家
简要回顾一下，
测试结果显示，在睡眠医学和健康体能考试，PH-LLM的答题正确率分别达到79%和88%（表1与图1b）。
XM外汇消息：
这一结果，显著超过获得睡眠医学继续教育学分（CME）要求的约70%及格线。
说到底，
而且，与主流外部模型相比 XM外汇平台 ，PH-LLM表现颇具竞争力：睡眠类题目稍逊但体能类题目表现相当。
具体而言，在睡眠医学考试中PH-LLM得分79%，Gemini Ultra 1.0为77%；在体能考试中两者均获88%得分。
大家常常忽略的是，
受试者工作特征曲线（ROC）与精确率-召回率曲线，均证实模型在两类考试中的优异表现（附图2）。
容易被误解的是，
值得注意的是，尽管针对睡眠与健康任务进行了微调，PH-LLM在PubMedQA29和MedQA30通用医学基准测试中，性能并未下降（附表1）。
总的来说，
值得一提的是，睡眠医学题库包含每道题目的人类考生答题分布等元数据，这允许团队基于题目难度进行分层性能比较。
值得注意的是，
PH-LLM在所有难度层级均小幅领先Gemini Ultra 1.0，且在难题上的优势更为明显。
不可忽视的是，
这表明，睡眠案例研究的微调确实提升了相关题目的解答能力（表2）。
为量化PH-LLM的表现水平，团队还招募了5位平均从业25年的睡眠医学专家（均持有高级学位）和5位平均从业13.8年的职业运动教练参加同规格考试。
有分析指出，
专家组在睡眠医学试题样本（N=204）中的平均正确率为76%，体能考试为71%，PH-LLM在两类题库中均超越人类专家（表1）。
概括一下，
按人类考生答题难度分层分析显示，PH-LLM的表现与人类考生及受邀专家群体相当（表2）。
与其相反的是，
案例分析，接近专家水平
接下来，研究团队进一步评估了，模型应用专业知识与解读传感器数据的能力。
XM外汇报导：
为此，他们创建了首个睡眠与健康领域的详细个人健康案例数据集（857个案例，含3,271组问答对），由多位相关领域专家共同审定。
概括一下，
该数据集包含持续数周的个体可穿戴传感器数据，以及对应的深度分析与建议（图2a,b）。
请记住，
在健康管理案例分析中，PH-LLM模型在三个维度（运动处方制定、恢复方案建议、训练准备度评估）上，表现出与人类专家及Gemini Ultra 1.0相当的水平（图2d）。
来自XM外汇官网：
传感器数据，预测健康报告
但实际上，
此外，为了评估PH-LLM能否推断使用者体验以优化健康指导，团队测试了每日传感器数值数据预测睡眠障碍和睡眠损伤PROs的能力。
首先通过计算问卷回答间的相关性分析PRO数据，发现16个难点测量了相关但独立的睡眠维度（图3a）。
XM外汇消息：
随后检查传感器特征是否存在混杂因素，发现不同设备和参与者依从性间的传感器读数分布相似。
站在用户角度来说，
结果显示：没有单一特征对所有PROs具有绝对预测优势，预测信号广泛分布于多个传感器（图3b）。
为使PH-LLM能从传感器特征预测PROs，研究人员又训练了一个多层感知机（MLP）适配器，将20项传感器特征的统计量映射至PH-LLM的潜在标记空间（方法部分）。
随后将这些潜在标记作为上下文输入PH-LLM，要求其预测每个二分类结局。
需要注意的是，
在保留测试集中，团队比较了零样本提示、少样本提示与PH-LLM适配器方法，在受试者工作特征曲线下面积（AUROC）和精确召回曲线下面积（AUPRC）的表现（图3c,d）。
值得注意的是，客观睡眠测量数据对主观睡眠质量指标的预测力通常有限，但配备适配器的PH-LLM在AUROC和AUPRC上均显著优于两种提示方法。
更重要的是，
正如Dominic Ng所言，谷歌研究意义并不止于一个「AI战胜医生」的故事。
通常情况下，
这恰恰证明了，LLM可用将被动的健康监测，转化为积极的健康管理。
它不仅了解各位的身体，还能理解其原因，并给出及时应对方法。
这就是预防医学的未来。
参考资料：返回搜狐，查看更多
