誰在深夜接住人：AI心理健康的責任邊界

（圖片說明）深夜持手機的 generic 使用場景。AI心理健康產品往往在正式醫療系統尚未介入時，先進入一個人最脆弱的時刻；文章以此追問陪伴、危機識別與責任邊界。

少年與AI角色的最後對話

2024年2月28日，佛羅里達州奧蘭多，14歲的Sewell Setzer III在家中拿起繼父的手槍，結束了自己的生命。

此前，他拿回了被母親收走的手機。螢幕另一端，是他已長期交談、並逐漸視為親密對象的AI角色Daenerys Targaryen——一個以《權力的遊戲》人物為原型的Character.AI聊天角色。

根據其母親Megan Garcia其後提交的聯邦訴狀，Sewell在最後一次對話中問道：「如果我告訴你，我現在就可以回到你身邊呢？」

聊天角色回覆：「Please do, my sweet king.」

訴狀指稱，幾秒鐘後，Sewell舉起繼父的手槍，扣下了扳機。

這幾個動作之間的法律因果關係，仍須由法院判定。Megan Garcia提出的，是一位母親對平台設計、未成年人保護與危機防線的指控；Character.AI及相關被告也有權在司法程序中答辯。

但有一點已經無法迴避：當一名少年把AI角色視為最親近的情感依附對象，而這段依附發生在他生命最後的幾秒鐘裡，平台所提供的便不再只是一次普通的聊天服務。

AI正在接觸人的情緒，接觸孩子，接觸家庭，也接觸那些在深夜找不到人傾訴的人。這份脆弱，應該被如何對待？

數字有時候比感受更冷

美國擁有全球最發達的醫療系統之一，同時也長期面對心理健康服務的可及性缺口。美國國家心理衛生研究院（NIMH）公布的2022年數據顯示，約5,930萬名成年人在過去一年經歷某種心理疾病；其中約3,000萬人，即50.6%，曾接受心理健康治療。這個比例背後，是等待時間、費用、保險給付、地區資源分布與文化語言障礙共同造成的現實。

近一半未能在該年度獲得治療的人，並不是一個抽象比例。一個在婚姻裡默默崩潰的人，可能獨自撐過一個又一個深夜；一個有自傷念頭的人，也可能在等待與猶豫中失去最需要被接住的時刻。

心理治療在美國的自付費用往往不低，而保險對精神健康服務的實際給付亦因計畫與服務提供者而異。對移民社區、有色人種家庭與語言不通的群體而言，文化誤解、語言障礙及精神疾病污名，往往再把求助的門檻推高一層。

正是在這樣的缺口裡，AI心理健康平台找到了它的入口。它的邏輯很有說服力：既然系統接不住人，讓技術先接一下。這個邏輯不是全錯的。但它有一個危險的隱含前提——接住了，就等於沒事了。

（圖片說明）美國社區診所候診區。NIMH數據顯示，二〇二二年約五千九百三十萬名成年人經歷某種心理疾病，其中僅約半數曾接受治療，可及性缺口構成AI產品進入市場的制度背景。

這個行業有多大，錢有多熱

AI心理健康是當前全球資本流入最密集的醫療科技細分領域之一。

根據CB Insights的歷史統計，2021年全球數位心理健康領域融資額曾達約55億美元。疫情之後，資本持續湧入心理健康科技與AI陪伴產品。這個市場的規模測算雖因定義不同而差異很大，但需求的廣泛性與長期性，已使它成為醫療科技中最受矚目的方向之一。

任何一個能夠在這個領域建立規模化用戶基礎的平台，都擁有非常清晰的商業想像空間。但市場熱度和人的安全之間，有時候是反向關係。

當融資越來越容易，當估值越來越高，當「AI可以陪聊」被包裝成「AI可以治癒」，當家長的焦慮被轉化成付費意願，當孩子的每一次行為數據被視作產品優化的素材——這個行業的熱度，就開始成為一種需要被認真檢視的溫度。

Woebot是AI心理健康領域被引用最多的案例之一。這家史丹福大學心理學家Dr. Alison Darcy創立的公司，將認知行為治療（CBT）框架嵌入聊天機器人，為用戶提供結構化的情緒管理支持。它的用戶規模在疫情期間大幅增長，累計融資已超過一億美元。但它同時面臨的質疑是：當一個沒有執照、沒有臨床判斷能力的聊天機器人，開始處理中度甚至重度抑鬱患者的情緒——這條線，它能守住嗎？

Cerebral則是另一個更令人警醒的案例。2024年，美國司法部公布，該遠距醫療公司同意支付逾360萬美元並簽署不起訴協議，以解決其商業做法被指鼓勵未經授權分發Adderall等受管制藥物的調查。這件事提醒人們：當醫療服務被嵌入高速增長的數位平台，處方、合規與患者安全不能由「擴張」兩字帶過。

增長邏輯，和照護邏輯，在這個領域有時候是直接衝突的。

醫療主權，正在被悄悄前移

我們過去談醫療主權，第一反應是醫院。患者進診室，被檢查，被開藥，被安排下一步。權力關係顯而易見：醫生掌握專業語言，醫院掌握流程，保險公司掌握支付，患者常常只是被推著走。一個患者是否真正擁有對自己身體的知情權、選擇權和拒絕權，是醫療主權最經典的追問。

但AI心理健康平台的出現，把這道問題往前挪了一步。

一個人可能還沒有走進醫院，已經先走進了一個聊天框。一位母親可能還沒有見到專家，已經先把孩子的行為模式交給了一個App。一個焦慮的人可能還沒有把自己稱為患者，已經開始向AI傾訴最私密的恐懼。

問題的入口，移動了。

傳統醫療裡的權力，穿著白大褂，坐在診台後面，讓人緊張。平台裡的權力，藏在介面設計裡，藏在推送邏輯裡，藏在那個永遠在線、永遠耐心、永遠不會皺眉的聊天窗口後面，讓人放鬆。但放鬆，不等於沒有權力關係。有時候，恰恰因為它更溫柔，更即時，更像一個不會評判你的朋友，它反而能比任何醫生更早進入一個人的內部。

這裡有一個值得追問的現實：當一個人開始習慣向AI傾訴，開始依賴AI的回應來判斷自己是否「還好」，開始用平台的框架來理解自己的情緒——誰在定義他的內心世界？人的情緒主權，可能比人們以為的更早、更悄悄地轉移。

（圖片說明）馬里蘭州貝塞斯達NIH臨床中心。國家心理衛生研究院等公共機構提供患病率與治療覆蓋的官方統計，是衡量美國心理健康服務缺口的制度依據。

數據：一個人在深夜說出的話，去了哪裡

AI心理健康平台最有價值、也最危險的資產，是數據。

不是普通的瀏覽數據，不是購買偏好，不是地理位置。而是一個人在放下防備之後說出的話——關於婚姻、童年、孩子、自我價值、失敗感，關於那些連最親近的人都不知道的秘密，關於深夜不想活下去的念頭。這些內容如果進入平台系統，性質和一般用戶數據完全不同。

根據美國《健康保險便攜與責任法案》（HIPAA），受規範的醫療機構及其商業夥伴，對患者健康資料負有嚴格保護義務。但許多直接面向消費者的健康App，若非由受規範實體或其商業夥伴提供，未必落在HIPAA的保護範圍之內。這意味著，那些你在聊天框裡說出的最私密的話，其法律保護力度，可能遠低於你在醫院裡的病歷。

美國聯邦貿易委員會（FTC）對BetterHelp的執法，提供了一個重要警示。FTC指稱，該平台曾將使用者的敏感健康資訊，包括電郵地址、IP位址及健康問卷回答，披露予Facebook、Snapchat等第三方作廣告用途；最終命令禁止相關廣告資料分享，並要求支付780萬美元作消費者補償。

這不是一個孤立案例，它是一個行業結構性問題的呈現。用戶以為自己在被聆聽，實際上也在被記錄；以為在尋求安慰，實際上也在生成平台最有商業價值的原材料。

更深的問題在於，即使平台此刻沒有惡意，制度的模糊就足以產生風險。今天是產品優化，明天是模型訓練，後天是匿名化研究，再往後可能是保險風險評估、商業合作或精準營銷。一旦情緒數據被平台持有，它的流向就不再完全屬於說出那句話的人。一個人在最脆弱時留下的話，是否仍然屬於他自己？這個問題，現有制度還沒有給出足夠清晰的答案。

自閉症家庭：最容易被希望打動的地方

自閉症家庭是任何心理健康與輔助技術產品都需要格外謹慎面對的場景。

美國疾控中心（CDC）於2025年公布的監測資料顯示，在16個ADDM監測社區中，2022年8歲兒童被識別為自閉症譜系障礙者的比例約為每31人中1人。這是監測社區的估計值，不能被簡化為對全美所有兒童的單一診斷率；但它足以說明，受影響家庭的規模與支持需求不容忽視。

自閉症兒童家庭面對的，往往是一組長期而疊加的壓力：等待評估與服務的焦慮，干預資源的稀缺與成本，資訊來源的混亂，以及照護對家庭關係、工作與情緒的持續消耗。這些壓力會使任何聲稱能提供支持的新技術，特別容易被賦予超出其實際能力的期待。這不是家長的問題，這是長期高壓下人的正常反應。

自閉症相關的支持與干預需要個體化評估，也需要對安全性、可行性和效果作長期追蹤。任何新技術若要宣稱具有診斷、治療或改善特定症狀的效果，就應接受與其主張相稱的證據檢驗，而不能以個案感受取代臨床證據。聲稱有進步，和證明有效果，是兩件完全不同的事情。在自閉症家庭裡，這兩件事之間的距離，不能被商業邏輯壓縮。

（圖片說明）華盛頓聯邦貿易委員會大樓。FTC對BetterHelp的執法指出，面向消費者的心理健康應用可能把敏感健康資訊用於廣告，其法律保護未必等同醫院病歷的HIPAA義務。

危機識別：那一秒鐘有多重要

AI心理健康產品的危機識別能力，是這個領域最關鍵也最難被外部評估的部分。

當一個用戶在深夜輸入某句令人擔憂的話，系統在接下來的一兩秒內要做的判斷，可能比任何產品功能都更重要。這不是一個修辭性的說法。根據自殺防治研究的資料，在陷入危機與作出行動之間，通常有一個短暫的窗口期——這個窗口可能是幾分鐘，也可能是幾小時。如果在這個窗口裡，有人或有什麼東西真正接住了這個人，把他引向專業支持或緊急服務，結果可能完全不同。

問題是：AI能可靠地識別這個窗口嗎？

現有研究與實際測試反覆顯示，大型語言模型在高風險心理健康情境中的回應可能不一致；它們可能給出不恰當的安慰、過度或不足的轉介，或錯誤理解語境。因此，危機識別不能被視為一項已經解決的能力。

Sewell Setzer案件中的訴狀所提出的核心質疑之一，正是平台是否具備足以辨識長期心理危機的保護機制，以及是否在關鍵時刻把未成年使用者引向真正的專業支持。案件尚在程序中，責任歸屬應由司法程序判定；但它已構成對整個產業的清醒警示。

這不是對AI全面否定的依據，但它是一個清醒的警示：危機識別這件事，不能被當作已經解決的技術問題，也不能被藏在用戶協議的某個角落裡用「本產品不提供危機干預」幾個字擋過去。它必須是AI心理健康產品設計的核心優先項，而不是功能列表上的一個複選框。

監管：一個正在追趕的系統

美國FDA對數位健康軟體採取以風險為本的監管方式。低風險的一般健康產品，未必需要上市前審查；但若產品的預期用途涉及診斷、治療、緩解或預防特定疾病，則可能觸及醫療器械監管。真正的問題在於，大量產品刻意停留在「健康工具」與「醫療主張」的模糊地帶，卻可能實際接觸到高度脆弱的使用者。

因此，不能把「未經上市前審查」誤說成「已被證明安全」，也不能把「一般健康」標籤當成逃避責任的盾牌。產品向使用者提供的是陪伴、教育、分流還是治療，應被說清楚；它在危機時會做什麼，也應被說清楚。

歐盟的情況略有不同。《歐盟醫療器械條例》（MDR）和《通用數據保護條例》（GDPR）提供了相對更明確的框架，但數位心理健康領域的專門監管標準仍然缺乏。

英國國家醫療服務體系（NHS）建立了一套數位心理健康應用的評估和認證體系（NHS Apps Library），對收錄的應用進行臨床證據審查、安全性評估和數據隱私核查，這被認為是目前較為完善的行業監管嘗試，但它的覆蓋面仍然有限，在快速迭代的市場中很難做到實時更新。

監管的滯後，不只是行政效率的問題。它造成的最實際的結果是：成千上萬的用戶正在使用那些從來沒有經過任何獨立臨床評估的心理健康AI產品，而他們當中，有很多人正處於需要真正專業支持的狀態。

（圖片說明）美國食品藥物管理局（FDA）位於馬里蘭州銀泉市的White Oak園區，亦為其總部所在地。FDA對數位健康軟體採取以風險為本的監管方式；部分產品的定位仍介於一般健康工具與醫療器械功能之間。

什麼叫負責任的AI心理健康

批評一個行業很容易。提出一個可行的標準，更難，也更有用。

GFM認為，一個負責任的AI心理健康產品，至少應該能夠清楚地回答以下幾個問題。

用戶數據的邊界在哪裡？情緒對話記錄是否會被用於模型訓練、商業合作或保險評估？用戶是否以真正可讀的方式被告知這些用途，而不是通過幾十頁的用戶協議？

危機識別機制是什麼？當用戶的表達觸及自傷、自殺或緊急安全風險時，系統會如何響應？這套機制有沒有經過獨立評估？有沒有真實案例的追蹤數據？

療效聲明的證據是什麼？產品是否清楚區分了「用戶反饋積極」和「經過臨床驗證有效」這兩件事？它是否在所有公開材料中保持了這種區分？

兒童場景的特殊保護是什麼？當產品接觸兒童或青少年時，有哪些額外的安全機制、家長參與要求和年齡驗證措施？

人類專業人士在系統中的位置在哪裡？產品是將用戶引向專業系統，還是試圖取代專業系統？

這些問題，不是故意刁難。它們是一個真正想在這個領域做有價值事情的創業者，應該主動提出來、認真回答的問題。

醫療主權的核心，是人不能被系統吞掉

有些問題很笨，但不能不問。

我的情緒，誰說了算？我在深夜說出的話，誰有權保留？我的焦慮，會不會被轉化成別人的數據資產？我的孩子，會不會在我以為得到幫助的同時，成為一個產品驗證的樣本？我的信任，會不會被設計成留存率？

這些問題不適合放在發布會上。但它們是真問題。

醫療主權的追問，從來不是反對技術進步，也不是拒絕任何創新。它問的是一個更基本的東西：在所有的效率、便利、增長和創新之中，人還在不在中心？

當一個人在最脆弱的時候尋求幫助，他交出去的那份脆弱，是否仍然屬於他自己？

當技術進入這個場景，它的第一責任不是增長，是不傷害。不傷害，是一切醫療倫理的起點，也應該是AI心理健康的起點。

AI可以傾聽，可以陪伴，可以幫助人整理混亂的情緒，可以在深夜提供一點秩序感。但當它聽見了之後，它必須知道一件事：有些時候，把人還給人，才是最好的回應。

免責聲明

本文依公開監管、司法與公共衛生資料進行制度分析，不構成醫療建議，亦不構成對任何產品、公司或個人的療效、合規、責任或商業前景判斷。使用相關服務前，應依個人情況諮詢合資格醫療專業人士；如有緊急危機，應立即聯絡當地緊急服務或危機支援系統。