谁在深夜接住人：AI心理健康的责任边界

（图片说明）深夜持手机的generic 使用场景。 AI心理健康产品往往在正式医疗系统尚未介入时，先进入一个人最脆弱的时刻；文章以此追问陪伴、危机识别与责任边界。

少年与AI角色的最后对话

2024年2月28日，佛罗里达州奥兰多，14岁的Sewell Setzer III在家中拿起继父的手枪，结束了自己的生命。

此前，他拿回了被母亲收走的手机。萤幕另一端，是他已长期交谈、并逐渐视为亲密对象的AI角色Daenerys Targaryen——一个以《权力的游戏》人物为原型的Character.AI聊天角色。

根据其母亲Megan Garcia其后提交的联邦诉状，Sewell在最后一次对话中问道：「如果我告诉你，我现在就可以回到你身边呢？」

聊天角色回覆：「Please do, my sweet king.」

诉状指称，几秒钟后，Sewell举起继父的手枪，扣下了扳机。

这几个动作之间的法律因果关系，仍须由法院判定。 Megan Garcia提出的，是一位母亲对平台设计、未成年人保护与危机防线的指控；Character.AI及相关被告也有权在司法程序中答辩。

但有一点已经无法回避：当一名少年把AI角色视为最亲近的情感依附对象，而这段依附发生在他生命最后的几秒钟里，平台所提供的便不再只是一次普通的聊天服务。

AI正在接触人的情绪，接触孩子，接触家庭，也接触那些在深夜找不到人倾诉的人。这份脆弱，应该被如何对待？

数字有时候比感受更冷

美国拥有全球最发达的医疗系统之一，同时也长期面对心理健康服务的可及性缺口。美国国家心理卫生研究院（NIMH）公布的2022年数据显示，约5,930万名成年人在过去一年经历某种心理疾病；其中约3,000万人，即50.6%，曾接受心理健康治疗。这个比例背后，是等待时间、费用、保险给付、地区资源分布与文化语言障碍共同造成的现实。

近一半未能在该年度获得治疗的人，并不是一个抽象比例。一个在婚姻里默默崩溃的人，可能独自撑过一个又一个深夜；一个有自伤念头的人，也可能在等待与犹豫中失去最需要被接住的时刻。

心理治疗在美国的自付费用往往不低，而保险对精神健康服务的实际给付亦因计画与服务提供者而异。对移民社区、有色人种家庭与语言不通的群体而言，文化误解、语言障碍及精神疾病污名，往往再把求助的门槛推高一层。

正是在这样的缺口里，AI心理健康平台找到了它的入口。它的逻辑很有说服力：既然系统接不住人，让技术先接一下。这个逻辑不是全错的。但它有一个危险的隐含前提——接住了，就等于没事了。

（图片说明）美国社区诊所候诊区。 NIMH数据显示，二〇二二年约五千九百三十万名成年人经历某种心理疾病，其中仅约半数曾接受治疗，可及性缺口构成AI产品进入市场的制度背景。

这个行业有多大，钱有多热

AI心理健康是当前全球资本流入最密集的医疗科技细分领域之一。

根据CB Insights的历史统计，2021年全球数位心理健康领域融资额曾达约55亿美元。疫情之后，资本持续涌入心理健康科技与AI陪伴产品。这个市场的规模测算虽因定义不同而差异很大，但需求的广泛性与长期性，已使它成为医疗科技中最受瞩目的方向之一。

任何一个能够在这个领域建立规模化用户基础的平台，都拥有非常清晰的商业想像空间。但市场热度和人的安全之间，有时候是反向关系。

当融资越来越容易，当估值越来越高，当「AI可以陪聊」被包装成「AI可以治愈」，当家长的焦虑被转化成付费意愿，当孩子的每一次行为数据被视作产品优化的素材——这个行业的热度，就开始成为一种需要被认真检视的温度。

Woebot是AI心理健康领域被引用最多的案例之一。这家史丹福大学心理学家Dr. Alison Darcy创立的公司，将认知行为治疗（CBT）框架嵌入聊天机器人，为用户提供结构化的情绪管理支持。它的用户规模在疫情期间大幅增长，累计融资已超过一亿美元。但它同时面临的质疑是：当一个没有执照、没有临床判断能力的聊天机器人，开始处理中度甚至重度抑郁患者的情绪——这条线，它能守住吗？

Cerebral则是另一个更令人警醒的案例。 2024年，美国司法部公布，该远距医疗公司同意支付逾360万美元并签署不起诉协议，以解决其商业做法被指鼓励未经授权分发Adderall等受管制药物的调查。这件事提醒人们：当医疗服务被嵌入高速增长的数位平台，处方、合规与患者安全不能由「扩张」两字带过。

增长逻辑，和照护逻辑，在这个领域有时候是直接冲突的。

医疗主权，正在被悄悄前移

我们过去谈医疗主权，第一反应是医院。患者进诊室，被检查，被开药，被安排下一步。权力关系显而易见：医生掌握专业语言，医院掌握流程，保险公司掌握支付，患者常常只是被推着走。一个患者是否真正拥有对自己身体的知情权、选择权和拒绝权，是医疗主权最经典的追问。

但AI心理健康平台的出现，把这道问题往前挪了一步。

一个人可能还没有走进医院，已经先走进了一个聊天框。一位母亲可能还没有见到专家，已经先把孩子的行为模式交给了一个App。一个焦虑的人可能还没有把自己称为患者，已经开始向AI倾诉最私密的恐惧。

问题的入口，移动了。

传统医疗里的权力，穿着白大褂，坐在诊台后面，让人紧张。平台里的权力，藏在介面设计里，藏在推送逻辑里，藏在那个永远在线、永远耐心、永远不会皱眉的聊天窗口后面，让人放松。但放松，不等于没有权力关系。有时候，恰恰因为它更温柔，更即时，更像一个不会评判你的朋友，它反而能比任何医生更早进入一个人的内部。

这里有一个值得追问的现实：当一个人开始习惯向AI倾诉，开始依赖AI的回应来判断自己是否「还好」，开始用平台的框架来理解自己的情绪——谁在定义他的内心世界？人的情绪主权，可能比人们以为的更早、更悄悄地转移。

（图片说明）马里兰州贝塞斯达NIH临床中心。国家心理卫生研究院等公共机构提供患病率与治疗覆盖的官方统计，是衡量美国心理健康服务缺口的制度依据。

数据：一个人在深夜说出的话，去了哪里

AI心理健康平台最有价值、也最危险的资产，是数据。

不是普通的浏览数据，不是购买偏好，不是地理位置。而是一个人在放下防备之后说出的话——关于婚姻、童年、孩子、自我价值、失败感，关于那些连最亲近的人都不知道的秘密，关于深夜不想活下去的念头。这些内容如果进入平台系统，性质和一般用户数据完全不同。

根据美国《健康保险便携与责任法案》（HIPAA），受规范的医疗机构及其商业伙伴，对患者健康资料负有严格保护义务。但许多直接面向消费者的健康App，若非由受规范实体或其商业伙伴提供，未必落在HIPAA的保护范围之内。这意味着，那些你在聊天框里说出的最私密的话，其法律保护力度，可能远低于你在医院里的病历。

美国联邦贸易委员会（FTC）对BetterHelp的执法，提供了一个重要警示。 FTC指称，该平台曾将使用者的敏感健康资讯，包括电邮地址、IP位址及健康问卷回答，披露予Facebook、Snapchat等第三方作广告用途；最终命令禁止相关广告资料分享，并要求支付780万美元作消费者补偿。

这不是一个孤立案例，它是一个行业结构性问题的呈现。用户以为自己在被聆听，实际上也在被记录；以为在寻求安慰，实际上也在生成平台最有商业价值的原材料。

更深的问题在于，即使平台此刻没有恶意，制度的模糊就足以产生风险。今天是产品优化，明天是模型训练，后天是匿名化研究，再往后可能是保险风险评估、商业合作或精准营销。一旦情绪数据被平台持有，它的流向就不再完全属于说出那句话的人。一个人在最脆弱时留下的话，是否仍然属于他自己？这个问题，现有制度还没有给出足够清晰的答案。

自闭症家庭：最容易被希望打动的地方

自闭症家庭是任何心理健康与辅助技术产品都需要格外谨慎面对的场景。

美国疾控中心（CDC）于2025年公布的监测资料显示，在16个ADDM监测社区中，2022年8岁儿童被识别为自闭症谱系障碍者的比例约为每31人中1人。这是监测社区的估计值，不能被简化为对全美所有儿童的单一诊断率；但它足以说明，受影响家庭的规模与支持需求不容忽视。

自闭症儿童家庭面对的，往往是一组长期而叠加的压力：等待评估与服务的焦虑，干预资源的稀缺与成本，资讯来源的混乱，以及照护对家庭关系、工作与情绪的持续消耗。这些压力会使任何声称能提供支持的新技术，特别容易被赋予超出其实际能力的期待。这不是家长的问题，这是长期高压下人的正常反应。

自闭症相关的支持与干预需要个体化评估，也需要对安全性、可行性和效果作长期追踪。任何新技术若要宣称具有诊断、治疗或改善特定症状的效果，就应接受与其主张相称的证据检验，而不能以个案感受取代临床证据。声称有进步，和证明有效果，是两件完全不同的事情。在自闭症家庭里，这两件事之间的距离，不能被商业逻辑压缩。

（图片说明）华盛顿联邦贸易委员会大楼。 FTC对BetterHelp的执法指出，面向消费者的心理健康应用可能把敏感健康资讯用于广告，其法律保护未必等同医院病历的HIPAA义务。

危机识别：那一秒钟有多重要

AI心理健康产品的危机识别能力，是这个领域最关键也最难被外部评估的部分。

当一个用户在深夜输入某句令人担忧的话，系统在接下来的一两秒内要做的判断，可能比任何产品功能都更重要。这不是一个修辞性的说法。根据自杀防治研究的资料，在陷入危机与作出行动之间，通常有一个短暂的窗口期——这个窗口可能是几分钟，也可能是几小时。如果在这个窗口里，有人或有什么东西真正接住了这个人，把他引向专业支持或紧急服务，结果可能完全不同。

问题是：AI能可靠地识别这个窗口吗？

现有研究与实际测试反覆显示，大型语言模型在高风险心理健康情境中的回应可能不一致；它们可能给出不恰当的安慰、过度或不足的转介，或错误理解语境。因此，危机识别不能被视为一项已经解决的能力。

Sewell Setzer案件中的诉状所提出的核心质疑之一，正是平台是否具备足以辨识长期心理危机的保护机制，以及是否在关键时刻把未成年使用者引向真正的专业支持。案件尚在程序中，责任归属应由司法程序判定；但它已构成对整个产业的清醒警示。

这不是对AI全面否定的依据，但它是一个清醒的警示：危机识别这件事，不能被当作已经解决的技术问题，也不能被藏在用户协议的某个角落里用「本产品不提供危机干预」几个字挡过去。它必须是AI心理健康产品设计的核心优先项，而不是功能列表上的一个复选框。

监管：一个正在追赶的系统

美国FDA对数位健康软体采取以风险为本的监管方式。低风险的一般健康产品，未必需要上市前审查；但若产品的预期用途涉及诊断、治疗、缓解或预防特定疾病，则可能触及医疗器械监管。真正的问题在于，大量产品刻意停留在「健康工具」与「医疗主张」的模糊地带，却可能实际接触到高度脆弱的使用者。

因此，不能把「未经上市前审查」误说成「已被证明安全」，也不能把「一般健康」标签当成逃避责任的盾牌。产品向使用者提供的是陪伴、教育、分流还是治疗，应被说清楚；它在危机时会做什么，也应被说清楚。

欧盟的情况略有不同。 《欧盟医疗器械条例》（MDR）和《通用数据保护条例》（GDPR）提供了相对更明确的框架，但数位心理健康领域的专门监管标准仍然缺乏。

英国国家医疗服务体系（NHS）建立了一套数位心理健康应用的评估和认证体系（NHS Apps Library），对收录的应用进行临床证据审查、安全性评估和数据隐私核查，这被认为是目前较为完善的行业监管尝试，但它的覆盖面仍然有限，在快速迭代的市场中很难做到实时更新。

监管的滞后，不只是行政效率的问题。它造成的最实际的结果是：成千上万的用户正在使用那些从来没有经过任何独立临床评估的心理健康AI产品，而他们当中，有很多人正处于需要真正专业支持的状态。

（图片说明）美国食品药物管理局（FDA）位于马里兰州银泉市的White Oak园区，亦为其总部所在地。 FDA对数位健康软体采取以风险为本的监管方式；部分产品的定位仍介于一般健康工具与医疗器械功能之间。

什么叫负责任的AI心理健康

批评一个行业很容易。提出一个可行的标准，更难，也更有用。

GFM认为，一个负责任的AI心理健康产品，至少应该能够清楚地回答以下几个问题。

用户数据的边界在哪里？情绪对话记录是否会被用于模型训练、商业合作或保险评估？用户是否以真正可读的方式被告知这些用途，而不是通过几十页的用户协议？

危机识别机制是什么？当用户的表达触及自伤、自杀或紧急安全风险时，系统会如何响应？这套机制有没有经过独立评估？有没有真实案例的追踪数据？

疗效声明的证据是什么？产品是否清楚区分了「用户反馈积极」和「经过临床验证有效」这两件事？它是否在所有公开材料中保持了这种区分？

儿童场景的特殊保护是什么？当产品接触儿童或青少年时，有哪些额外的安全机制、家长参与要求和年龄验证措施？

人类专业人士在系统中的位置在哪里？产品是将用户引向专业系统，还是试图取代专业系统？

这些问题，不是故意刁难。它们是一个真正想在这个领域做有价值事情的创业者，应该主动提出来、认真回答的问题。

医疗主权的核心，是人不能被系统吞掉

有些问题很笨，但不能不问。

我的情绪，谁说了算？我在深夜说出的话，谁有权保留？我的焦虑，会不会被转化成别人的数据资产？我的孩子，会不会在我以为得到帮助的同时，成为一个产品验证的样本？我的信任，会不会被设计成留存率？

这些问题不适合放在发布会上。但它们是真问题。

医疗主权的追问，从来不是反对技术进步，也不是拒绝任何创新。它问的是一个更基本的东西：在所有的效率、便利、增长和创新之中，人还在不在中心？

当一个人在最脆弱的时候寻求帮助，他交出去的那份脆弱，是否仍然属于他自己？

当技术进入这个场景，它的第一责任不是增长，是不伤害。不伤害，是一切医疗伦理的起点，也应该是AI心理健康的起点。

AI可以倾听，可以陪伴，可以帮助人整理混乱的情绪，可以在深夜提供一点秩序感。但当它听见了之后，它必须知道一件事：有些时候，把人还给人，才是最好的回应。

免责声明

本文依公开监管、司法与公共卫生资料进行制度分析，不构成医疗建议，亦不构成对任何产品、公司或个人的疗效、合规、责任或商业前景判断。使用相关服务前，应依个人情况咨询合资格医疗专业人士；如有紧急危机，应立即联络当地紧急服务或危机支援系统。