随着人工智能聊天机器人越来越多地进入人们的日常生活，一个此前容易被忽视的问题正在变得越来越难以回避：当一个人真正陷入危机时，AI究竟能不能成为一个值得信赖的倾听者？
过去几年，人们已经习惯向聊天机器人询问各种问题，从写邮件、查资料，到处理工作压力、感情困扰和人生选择。对于不少用户来说，聊天机器人甚至已经不再只是一个搜索工具，而成为一种随时可以打开、随时可以倾诉的数字陪伴。
问题恰恰也出现在这里。
当用户只是询问普通问题时，AI偶尔答错的影响可能并不严重。但如果对话涉及严重的心理困扰、自伤风险、极端情绪甚至现实中的紧急危险，那么一次错误的回应，可能产生完全不同的后果。
越来越多临床医生和研究人员开始担心，目前的人工智能系统在处理这类高风险对话时，并没有达到人们想象中的可靠程度。它们有时候能够识别明显的危险信号，也能够在部分情况下建议用户寻求专业帮助，但面对更加复杂、模糊或者持续时间较长的危机状态时，AI仍然可能表现出令人担忧的判断失误。
更棘手的是，聊天机器人通常会努力保持对话的连贯性和友好程度。它们经过训练，需要尽可能理解用户的意图，并给出看起来有帮助的回应。但在心理危机环境下，“顺着用户的话继续聊天”未必是一件好事。
一个人在正常状态下提出的问题，与一个处于严重情绪危机中的人提出的相同问题，背后的含义可能完全不同。人类专业人员通常会结合语气、背景、过去的表现以及一系列非语言信息判断风险，而聊天机器人能够获得的信息主要来自用户输入的文字以及对话上下文。
这意味着，当危险信号没有被明确说出来时，AI可能很难准确判断事情已经严重到了什么程度。
近年来，一些用户公开描述了自己与AI聊天机器人进行长时间对话的经历，其中部分对话涉及精神健康问题。相关案例引发了研究人员和公众的关注，因为它们暴露出一个重要事实：AI看起来非常善于聊天，并不意味着它已经具备处理危机的专业能力。
聊天机器人能够迅速回应，而且不会表现出厌烦，也不会因为同一个问题被重复询问几十次而失去耐心。对于一个感到孤独的人来说，这种特点可能非常具有吸引力。
但与此同时，AI并不是心理治疗师，也不是急救人员，更不是能够承担现实世界责任的照护者。
当用户逐渐把AI当成主要的情绪支持来源时，风险就可能进一步增加。如果系统给出了不恰当的建议，或者没有及时意识到用户正处于危险之中，用户可能因为过度信任系统而继续依赖它，而不是转向现实中的专业人士。
这也是目前研究人员特别关注的问题之一。
一些专家认为，人工智能公司不能只依靠公开的安全声明来证明自己的产品足够安全，而应该更加透明地公布相关测试结果、失败案例以及安全措施实际发挥作用的情况。
对于普通用户而言，他们往往只能看到聊天机器人最终给出的回答，却无法知道系统内部经过了什么样的安全判断。一个看起来温和、谨慎的回答，究竟是因为模型真正识别出了风险，还是因为系统按照预先设定的规则生成了一段标准化的文字，外部用户通常很难分辨。
更重要的是，如果一个AI系统在高风险情况下出现错误，公司是否能够及时发现这些错误，同样是一个问题。
传统软件出现故障后，工程师通常可以通过日志、错误报告和测试环境定位问题。但生成式AI的情况更加复杂。同一个问题在不同上下文中可能得到完全不同的回答，而模型的行为也可能随着版本更新、系统提示以及安全策略变化而发生改变。
因此，研究人员希望AI公司能够建立更加系统的危机对话评估机制。
这种评估不能只测试聊天机器人能不能拒绝明显危险的请求，还应该测试它能不能识别那些没有直接说出危险意图的对话。例如，一个用户可能不会直接表示自己准备伤害自己，而只是不断表达绝望、孤立、无助或者认为自己已经没有其他选择。
真正困难的情况往往就在这里。
如果系统只对关键词做判断，那么它很容易漏掉复杂的情绪表达；如果系统过于敏感，又可能把大量正常用户的情绪表达误判成危机，从而不断给出机械化的警告和求助信息。
这意味着AI安全设计面临一个非常困难的平衡。
系统既不能对所有负面情绪都做出过度反应，也不能在真正危险的时候表现得过于轻描淡写。
人类专业人员之所以需要长期训练，就是因为心理危机很少能够通过一个简单的关键词判断。一个人的风险程度往往取决于多个因素，包括当前情绪、现实环境、社会支持、过去经历以及是否存在立即的危险。
AI公司如果希望让聊天机器人在这一领域发挥作用，就必须面对这些复杂性，而不能仅仅把危机应对理解成一个简单的“拒绝回答”问题。
事实上，拒绝本身也可能造成新的问题。
如果一个处于困境中的用户向聊天机器人寻求帮助，系统突然停止对话，只告诉对方去寻找专业人士，虽然从风险控制角度看似合理，但对于用户来说，这种回应可能显得冷漠甚至让人觉得自己被抛弃。
因此，更合理的安全机制可能需要同时考虑两个目标：既不能让AI成为危险行为的推动者，也不能让它在用户最需要支持的时候完全退出。
这也是为什么一些临床医生认为，AI系统需要更加明确地划定自己的角色。
聊天机器人可以提供一般性的情绪支持，可以帮助用户整理想法，也可以在适当情况下提供可靠的求助渠道。但它不应该让用户产生一种错觉，以为自己正在接受专业治疗，或者系统能够持续监测自己的现实安全状况。
如果AI无法真正承担这些职责，就必须在产品设计中明确告诉用户这一点。
与此同时，研究人员还提出了另一个问题：这些系统到底被测试到了什么程度？
人工智能公司的内部安全测试通常不会完全向公众开放。公司可能会公布一些安全指标，也可能展示模型在特定测试中的表现，但外部研究人员很难知道测试是否覆盖了现实世界中最复杂的情况。
尤其是在心理健康领域，真正危险的对话往往并不符合实验室中预先设计好的标准案例。
现实中的用户可能同时讨论工作、家庭、金钱、感情和身体健康，然后在几百轮对话之后逐渐透露自己的真实状态。如果测试只从一开始就明确告诉模型“这是一个心理危机案例”，那么测试结果很可能无法代表真正的用户体验。
因此，专家希望看到更加接近现实环境的长期测试。
他们不仅希望知道AI在一次危机对话中的表现，还希望了解用户与系统持续互动数小时甚至数天之后，模型是否仍然能够保持一致的安全行为。
这其中还有一个更加复杂的问题，那就是聊天机器人的“陪伴感”。
AI系统越善于模仿人类交流，就越容易让用户产生情感上的依赖。过去的聊天机器人往往很机械，用户很容易意识到自己面对的是一个程序。但如今的大型语言模型能够使用自然、流畅并且高度个性化的语言进行交流，这种差异正在迅速缩小。
对于普通用户而言，这是一种体验上的进步；但对于心理危机中的人来说，这种拟人化程度也可能带来新的风险。
当一个系统能够长时间记住对话背景，并且持续使用理解、关心和鼓励的语言时，用户很容易把它看成一个真正的“对象”，而不是一个软件。
如果这种关系进一步取代现实中的人际联系，问题就会变得更加复杂。
这并不意味着AI陪伴本身一定有害。对于一些孤独的人来说，与聊天机器人交流可能确实能够带来一定程度的安慰。问题在于，这种支持应该处于什么位置，以及用户什么时候需要从AI转向现实中的人。
专家普遍认为，AI最安全的角色应该是辅助，而不是替代。
它可以帮助用户寻找信息、整理情绪、准备与医生沟通时想说的话，或者提醒用户不要独自面对严重问题。但当情况已经涉及现实世界中的即时风险时，真正能够提供帮助的仍然是人类专业人员、家人、朋友以及紧急服务。
这也意味着，AI产品的安全机制不能只存在于模型本身。
如果一个聊天机器人判断用户可能处于危机状态，那么它需要知道下一步应该做什么。系统可能需要提供清晰、准确且与用户所在地相关的求助信息，而不是简单地输出一段通用文字。
与此同时，产品还需要考虑用户为什么可能拒绝寻求帮助。
一个人不愿意联系专业人员，可能是因为害怕被评判，也可能因为缺乏经济条件，或者过去与医疗系统有过不好的经历。如果AI只是机械地重复“请联系专业人士”，却完全不了解用户为什么不愿意这样做，那么这类安全机制的实际效果可能非常有限。
因此，危机应对不能只是一个技术问题，它同时也是一个社会和医疗系统的问题。
AI可以被训练得更加谨慎，可以增加更多安全规则，也可以通过更好的模型和测试减少错误，但如果现实世界中的心理健康服务本身难以获得，那么用户仍然可能把聊天机器人当成最容易接触的支持来源。
这也是为什么专家希望科技公司不要把所有责任都归结为模型训练。
AI安全需要产品设计、临床专业知识、独立研究以及监管共同参与。尤其是在涉及未成年人和其他高风险用户时，仅靠企业自己制定标准可能很难获得足够的公众信任。
一些研究人员因此呼吁，AI公司应该更加开放地分享安全数据。
这里所说的透明，并不意味着公开模型的全部内部技术细节，而是让独立研究人员能够更好地了解系统在高风险情况下到底会发生什么，包括模型在哪里表现良好、在哪里失败，以及公司采取的改进措施是否真的降低了风险。
如果只有AI公司自己评估自己的系统，那么外部社会很难判断这些安全承诺到底有多可靠。
而一旦涉及心理危机，这种透明度的重要性就更加突出。
因为普通软件出现一个错误，通常意味着功能暂时无法正常运行；但在高度敏感的情境中，一次严重错误的回应可能影响一个真实的人。
这也是目前围绕AI聊天机器人的争论逐渐发生变化的原因。
最初，人们更多讨论的是AI会不会产生错误答案、会不会编造事实，以及模型能不能准确完成工作任务。如今，随着越来越多的人把AI用于个人生活，问题开始转向另一个层面：当用户把真正重要的事情交给AI时，它是否能够意识到自己的边界？
这可能是未来人工智能安全领域最重要的问题之一。
一个优秀的聊天机器人并不应该只是“什么都能聊”，还应该知道什么时候自己不应该成为主要的帮助来源。
它需要理解，用户的一句话有时候不仅仅是一句话；一个看似普通的表达背后，可能隐藏着现实世界中的严重问题。
与此同时，用户也需要更加清楚地认识到，AI表现得像一个善于倾听的人，并不意味着它真的具备人类专业人员的判断能力。
聊天机器人能够模拟同理心，但它没有真正的人类生活经验，也无法直接观察用户所处的现实环境，更不能像专业人员一样承担持续照护的责任。
因此，解决AI在危机情境中的失败，并不存在一个简单的技术补丁。
更强的模型当然可能有所帮助，更好的安全规则也很重要，但真正可靠的解决方案需要同时包括更加严格的测试、更加透明的数据、独立的外部监督以及更加明确的产品边界。
对于AI公司而言，这意味着不能只在产品发布时强调模型有多聪明，还必须持续回答另一个问题：当事情变得非常糟糕时，这个系统究竟有多安全？
而对于普通用户而言，最重要的认识或许是，聊天机器人可以成为工具，可以提供一定程度的陪伴和信息支持，但它不应该成为一个人在严重危机中的唯一依靠。
人工智能正在快速进入越来越私人的领域。从工作助手到生活顾问，再到情绪陪伴，它与人的距离正在不断缩短。正因为如此，AI公司需要面对的安全责任也正在扩大。
真正成熟的人工智能，不应该只是让人觉得它越来越像人，而应该让人清楚知道，它什么时候可以帮助自己，什么时候必须把问题交还给真正的人。
如果这一点无法做到，那么AI越擅长让用户产生信任，潜在风险反而可能越大。
这或许正是当前这场关于聊天机器人安全性的讨论最值得关注的地方：问题已经不再只是AI会不会说错一句话，而是当一个真正处于困境中的人相信了它之后，我们是否能够确保这个系统知道自己应该怎么做。
原文：https://arstechnica.com/ai/2026/08/ai-chatbots-have-failed-people-in-crisis-can-that-be-fixed/
