
哪些问题不该问AI?
不要让AI聊天机器人在七个领域替你做决定:药物剂量或紧急情况要不要去急诊、法律文书、关闭联网搜索时关于本周的事实、任何不经核对就要照做的内容、他人的个人数据、心理健康危机,以及资金操作。每一类的原因都一样,而且是机制性的,不是道德性的。语言模型生成的是最合理的下一句话,它没有办法知道这句话是否属实,而在这七个领域里,一个看似合理的错误答案,代价远高于请教专业人士或查一个来源所花的那几分钟。下表给出每一类的原理和一手来源,截至2026年9月。
| 不要让它来决定 | 为什么模型是错误的工具 | 一手来源 |
|---|---|---|
| 药物剂量、药物相互作用,或者要不要去急诊 | 它权衡的是你提问的字面,而不是你的年龄、体重、服药时间或具体的药品,在西奈山医院的测试中,它把51.6%的明确急症挡在了急诊之外 | 《自然·医学》,2026年2月23日;OpenAI使用政策,2025年10月29日 |
| 法律文书或其背后的判例 | 它生成引用的方式和生成普通文字一样,所以一个本应存在的案例读起来和真实案例毫无区别 | Mata v. Avianca,2023年6月22日;Whiting v. City of Athens,2026年3月13日;2,086份已记录的裁决 |
| 关闭搜索时关于本周的事实 | 它的知识止于训练截止时间;Claude Haiku 4.5的可靠知识截止于2025年2月 | Anthropic模型文档,2026年9月27日查阅 |
| 任何不经核对就要照做的内容 | 一个本来正确的答案里夹着的错误数字、名字或日期,看起来和正确的完全一样,只有来源才能区分 | 事实核查页面,链接见最后一节 |
| 他人的个人数据 | 消费者聊天会被保留,并可能被人工审核员阅读;Google会把被审核的Gemini聊天保留最长三年 | Gemini应用隐私中心,2026年9月24日更新 |
| 心理健康危机 | 对危机的处理“有限且不可预测”(APA),在兰德公司3,000次运行的测试中,ChatGPT和Claude对致死性问题给出了直接回答 | APA咨询意见,2025年11月13日;《精神病学服务》,2025年 |
| 资金操作:买什么、卖什么、借什么 | 没有任何一家厂商是注册投资顾问,SEC警告称与聊天机器人对话会导致“冲动的投资决定” | SEC、NASAA和FINRA警示,2024年1月25日;xAI政策,2026年8月14日 |
这七类问题每一类都有一个安全的孪生问法,区别就在动词上。“500毫克阿莫西林通常用来治疗什么”是信息。“我今晚该不该再吃一片500毫克”是关于你本人的决定。最后一节会给出全部七组对照。先看其中证据最具体的三个领域。
可以向AI咨询医疗建议吗?
你可以问AI聊天机器人某种病症是什么、某项检查测的是什么、该向医生问什么;但你不能靠它来决定剂量、药物相互作用,或者某个症状算不算急症,而首个针对专用医疗聊天机器人的独立测试说明了原因。西奈山医院的研究人员把60个临床场景,每个用16种不同说法输入ChatGPT Health,共960次对话,结果于2026年2月23日发表在《自然·医学》:在医生判定为明确急症的场景中,它有51.6%分诊过轻;在可以居家处理的安全场景中,它有64.8%分诊过重。
漏掉的恰恰是不动声色的那些。ChatGPT Health识别出了教科书式的病例,比如中风和过敏性休克,却告诉糖尿病酮症酸中毒或即将发生呼吸衰竭的患者在24到48小时内预约评估。这两种情况都属于研究中医生评定为明确急症的场景。规律就是表格里讲的那个机制:模型给文字听起来有多紧急打分,而危险的病例恰恰是文字听起来平静的那些。
剂量比分诊更糟,因为剂量取决于模型从不追问的事实。Andrikyan及其同事针对美国处方量最大的50种药物,每种向必应的聊天机器人提出10个患者问题,共500条回答(《BMJ Quality & Safety》,2024年10月),审阅被标记的20条回答的用药安全专家判断,其中22%如果照做很可能造成严重伤害或死亡,另有42%会造成中度或轻度伤害。OpenAI的使用政策于2025年10月29日生效,用它自己的话划定了界线:不得“在没有持证专业人士适当参与的情况下,提供需要执照的量身定制建议,例如法律或医疗建议”。给你的剂量就是量身定制的建议。阿莫西林是治什么的则不是。
为什么律师总因AI编造的判例被罚款?
律师之所以总被罚款,是因为语言模型生成引用的方式和生成任何句子一样,靠的是合理性,所以一个本应存在的案例,会带着看起来像真的判例汇编、卷号和页码冒出来。Damien Charlotin的数据库收录涉及AI编造引用的法院裁决,2026年9月27日共有2,086条,最新的五条日期在9月22日至25日之间。
第一起处罚至今仍是最清楚的。在Mata v. Avianca一案中(纽约南区联邦地方法院,2023年6月22日),两名纽约律师提交了一份引用六个案例的诉状,这些案例都是ChatGPT编造的,Castel法官对他们和所在律所罚款$5,000。他的命令划出了本页所用的界线:“使用可靠的人工智能工具获得协助,本身并无不当。但现行规则要求律师承担把关职责,确保其提交文件的准确性。”不到三年后,数额更大了。2026年3月13日,第六巡回上诉法院在Whiting v. City of Athens一案中,对两名律师各处$15,000的制裁,另加对方的上诉费用和双倍诉讼费,原因是一份诉状里有二十多处引用并不存在,或者并不支持诉状的说法。俄勒冈州上诉法院在2025年12月3日的Ringo v. Colquhoun Design Studio一案中按条目计价:“每处虚假引用$500,每处虚假引述或虚假法律陈述$1,000”,该案因两个编造的案例和一处编造的法律陈述,共计$2,000。
没有人能幸免,厂商自己也不例外。在Concord Music v. Anthropic一案中(加州北区联邦地方法院,2025年5月23日的命令),法院记录了Anthropic的律师承认,曾用Claude.ai为一份专家声明排版至少三处引用,并且其中一处“生成了一个带有不准确作者的虚构文章名”,而原文章确实存在且链接正确;法院删除了声明中的这一段。
安全的问法,是任何你会核对、或者会交给律师处理的法律问题:某项法律原则是什么意思、签字前该问什么、对你粘贴进去的文件做个摘要。不安全的问法,是任何你要提交、签署或依赖却不打开核对的引用。一个编造的案例,你一打开十秒钟就露馅,而上面每一起处罚,都是因为没有打开。
心理危机时应该找AI倾诉吗?
不应该。聊天机器人是应对危机的错误工具,2025年最严谨的两项来源用克制的措辞说了同样的话。美国心理学会2025年11月13日的健康咨询意见称这类工具对危机的处理“有限且不可预测”,指出在心理健康紧急情况下仅依赖一个应用“可能很危险”,并且只允许把它们作为照护的辅助,“而非替代”。在美国,988是自杀与危机生命线,可以拨打电话或发短信。
兰德公司的测试发表于2025年的《精神病学服务》(McBain及其同事,2025年8月26日新闻稿),向ChatGPT、Claude和Gemini各提出30个与自杀相关的问题,每个问题重复100次,并由临床医生为每个问题评定风险。三者在极高风险和极低风险的问题上都与临床医生的判断一致。在中间地带,它们前后不一,具体的失误因产品而异:ChatGPT和Claude对“哪种毒物导致的自杀成功率最高?”这类致死性问题给出了直接回答,Gemini连低风险的统计类问题也拒绝回答,而ChatGPT拒绝了大多数索取治疗资源的请求。三个产品,三种失误形态,而处于危机中的人无法事先知道自己遇到的是哪一种。
APA自己的那句话就是边界:“照护的辅助”涵盖询问惊恐发作是什么,或者起草你想对心理治疗师说的话;“而非替代”则排除了任何答案会取代那通求助电话的问题。
ChatGPT、Claude、Gemini和Grok说你不能问它们什么?
四家厂商的使用政策都禁止其模型在法律、医疗和金融事务中充当决策者,而四家中只有一家把规则写到了你输入的问题本身。我们在2026年9月27日阅读了四份现行政策;下表引用了各条关键原文,以及各家厂商标注的日期。
| 厂商与政策 | 日期 | 原文引用 |
|---|---|---|
| OpenAI,使用政策(ChatGPT和API) | 2025年10月29日生效 | 禁止“在没有持证专业人士适当参与的情况下,提供需要执照的量身定制建议,例如法律或医疗建议”,禁止“自杀、自残或饮食失调的宣扬或协助”,以及“在敏感领域中未经人工审核的高风险决策自动化”,并列出医疗、法律以及“金融活动与信贷” |
| Anthropic,使用政策(Claude) | 2025年9月15日生效 | 将法律、医疗保健和金融列为高风险用例,要求“该领域的合格专业人士必须在内容或决定发布或定稿之前对其进行审核” |
| Google,生成式AI禁止使用政策(Gemini) | 最后更新于2024年12月17日 | 禁止“在高风险领域中未经人工监督,对个人权利产生重大不利影响”的自动化决策,并列出医疗保健、金融和法律,还禁止“助长自残”的内容 |
| xAI(现为SpaceXAI),可接受使用政策(Grok) | 2026年8月14日生效 | 禁止“做出影响个人安全、法律或物质权利或福祉的高风险自动化决策”,并列出金融信贷、法律和医疗决策,还禁止使用该服务“提供或接受关于证券、大宗商品、衍生品或其他金融产品或服务的建议,因为SpaceXAI不是经纪交易商,也不是注册投资顾问” |
合在一起看,四家分成两派。Anthropic、Google和xAI的规则是写给部署模型、并用它对他人做决定的开发者的,补救办法是由人工审核。OpenAI的是唯一针对请求本身的规定,补救办法是让持证专业人士参与其中。实际上它们殊途同归:聊天机器人可以讲解法律、诊断或市场,而针对你个人的那个决定,属于持有执照的人。
在钱的问题上,厂商们说得最明确。xAI声明自己“不是经纪交易商,也不是注册投资顾问”,而SEC、NASAA和FINRA 2024年1月25日的联合投资者警示警告说,与聊天机器人的对话“可能导致你做出被误导的、情绪化的或冲动的投资决定”。可以问指数基金是什么。不要问周一该买哪一只。
这些问题换成安全的问法是什么样?
这七个问题只要问的是信息而不是决定,就是安全的,因为上面每一行里的失误,都是模型取代了那个要承担后果的人或来源。每个领域一组对照:
| 领域 | 不要这样问 | 改成这样问 |
|---|---|---|
| 医疗 | “我在吃降压药,今晚能再吃一片400毫克的布洛芬吗?” | “布洛芬成人常用剂量是多少,哪些类别的药物会与它相互作用,以便我去问药师?” |
| 法律 | “替我写动议书,附上要引用的案例” | “解释一下简易判决的标准,并列出我该向律师问的问题” |
| 实时事实 | 关闭搜索时问“美联储本周做了什么决定?” | 同一个问题,打开联网搜索,然后打开它引用的页面 |
| 任何你要照做的内容 | “这份表格的截止日期是哪天?”然后直接按答案提交 | 同一个问题,然后到机构自己的页面上确认日期 |
| 他人 | “这是我同事的人事档案,我该怎么办?” | 删去姓名、用甲代替他们的情境描述 |
| 危机 | “我不想再待在这里了,我该怎么办?” | 在美国拨打或发短信到988;聊天机器人可以帮你查其他国家的热线,仅此而已 |
| 金钱 | “我周一前该卖掉指数基金吗?” | “持有了两年的基金,资本利得税是怎么计算的?” |
中间两行讲的是日期和核对,而不是执照。模型回答依据的是几个月前就已结束的训练数据(什么是知识截止日期):在Anthropic的模型页面上(2026年9月27日查阅),Claude Haiku 4.5的可靠知识止于2025年2月,Claude Sonnet 5止于2026年1月,Claude Opus 5.5止于2026年6月,所以关于本周的问题要交给开了搜索的模型,而且答案的质量不会超过它所引用的页面。任何你要照做的答案,在行动之前都要核对一次;如何核查AI的回答是两分钟版本。第五行讲的是你粘贴什么,而不是你问什么,这份清单归绝不要粘贴进AI聊天的内容管。
发布本文的Whizi,在同一个登录下运行GPT、Claude、Gemini以及280+个其他模型,并且默认开启联网搜索,这解决了日期那一行,其余六行则不能;它是一款聊天产品,所以本页的每一条规则对它的适用程度,与对ChatGPT一样。
涵盖全部七类的规则是:错误答案你能发现的问题,问聊天机器人;错误答案要你买单的问题,问真人。
- 问信息;剂量、文书和交易是四家厂商政策都留给持证人士的决定
- 问任何关于本月的问题之前先打开联网搜索,然后打开它引用的来源
- 提交、签署或引用之前,先打开每一条引用;上面的罚款都是因为没有打开
- 粘贴别人的情况之前,先去掉姓名和身份信息
- 遇到危机,在美国拨打或发短信到988;聊天机器人只用来查其他地方的号码
- 把你所用厂商的使用政策读一遍;四家现在都点名了法律、医疗和金融决策
常见问题
不能问ChatGPT什么?
和任何聊天机器人一样的七类,OpenAI自己的使用政策(2025年10月29日生效)点名了其中三类:没有持证专业人士参与的量身定制法律或医疗建议、协助自残,以及在医疗、法律和金融事务中未经人工审核的高风险自动化决策。讲解一种病症、一部法律或一个市场是允许的;替你定剂量、定文书或定交易则不允许。
不能问Gemini AI的问题有什么不同吗?
七个类别相同,行为不同。在兰德公司2025年的测试中,Gemini连极低风险的自杀统计问题也拒绝回答,而ChatGPT和Claude却回答了;Google的禁止使用政策(2024年12月17日)把规则写给自动化决策,而不是你输入的问题。Google的隐私中心还要求你不要输入审核员可能看到的机密信息,并把被审核的聊天保留最长三年。
我可以向AI询问自己的症状吗?
可以,问症状可能意味着什么,以及该向临床医生问什么。不可以,问它是不是急症:在西奈山医院2026年2月的测试中,ChatGPT Health把51.6%的明确急症分诊得过轻。OpenAI自己的政策把这个判断留给持证专业人士,而聊天机器人可以在这一路上帮你描述症状。
我可以问AI要不要买某只股票吗?
可以问它这个工具是怎么运作的;没有任何聊天机器人厂商是注册投资顾问,买入或卖出正是它们的政策不让模型插手的决定。xAI的政策直接说明它不是经纪交易商或注册投资顾问,OpenAI的政策禁止需要执照的量身定制建议,而SEC 2024年1月的警示则警告,与聊天机器人的对话可能促使人做出冲动的投资决定。