模型在某一天停止了阅读,而它自己并不知道是哪一天
语言模型是从训练开始前汇集好的一批固定文本中学习的。什么是LLM讲过训练的两个阶段;这里的重点是,两个阶段用的数据都有一个截止日期。这个日期之后发表的任何内容,模型里都没有。无论是选举结果、价格变动,还是关于模型本身的新闻。
厂商会在模型卡上公布这个日期,而且越来越多的厂商会公布两个。Anthropic列出一个“训练数据截止日期”,也就是最后一批数据的收录时间,还有一个更早的“可靠知识截止日期”,在这之前的内容覆盖足够密集,可以信赖。两者之间存在差距,是因为互联网写透一件事需要几个月:三月发布的东西,四月只有寥寥几篇报道,到九月可能已经有几千篇。一个七月训练出来的模型,对三月的事了解得很透彻,对七月的事却知之甚少。
模型自己也说不出这两个日期中的任何一个。它没有日历,也没有关于自己训练过程的记录;被问到“你的知识截止日期是什么时候”,它只会从训练数据里给出对这个问题最可能的答案,而这通常是它读到过的关于某个更早模型的日期。Anthropic公开的系统提示词会用明文告诉Claude它自己的截止日期,这恰恰说明如果不这样做,模型本身根本不知道。截止日期请以模型卡为准,永远不要以对话中的回答为准。
模型上线当天到底落后了多久,实测数据
训练需要几个月,评估和安全工作还要再花更多时间,所以模型一上线就已经落后了。下面这张图读取了八份模型卡:可靠或官方公布的知识截止日期,对比公开发布日期,以整月计算。
有两个规律很明显。OpenAI的旗舰模型落后得最多,GPT-4.1和GPT-5都是十个月,而Anthropic和Google一直维持在两到四个月。而且这个差距在服役期间只会越拉越大:GPT-4o在上线一年后仍然是ChatGPT的默认模型,那时它的知识已经落后了19个月。一个日常使用的模型,通常已经落后一年甚至更久。
以上日期均为各厂商自己公布的数据,来源是本页末尾链接的模型卡。AI模型时间线收录了本站追踪的每个模型的发布日期。
问它截止日期之后的事,模型会怎么做
它会照答不误。这才是问题所在。模型没有一个能返回“未找到”的查询步骤;它生成的是最可能的续写内容,而对于一个关于上个月的问题,这个续写是从训练数据中类似问题的模式拼凑出来的。问它截止日期之后发布的产品,它会描述出一个这类产品大概率会是什么样子。问它现在的价格,它会用现在时给出截止日期当时的价格。
什么是AI幻觉解释了为什么模型表现得自信而不是不确定,但过时答案有一个可以识别的破绽:答案通顺,但略显陈旧。模型名字会差一个版本,价格是去年的,所谓的“最新”功能其实是训练窗口期里的那个。过时的答案看起来并不像错误,它看起来像过去。
| 问题类型 | 直接问模型安全吗? | 原因 |
|---|---|---|
| 事物原理、既定事实、截止日期之前的历史 | 是 | 训练数据中覆盖密集,基本不会变 |
| 价格、套餐、限额、版本号 | 否 | 每月都会变,模型会用现在时给出截止日期当时的答案 |
| 近期发布、新闻、赛事结果、法规 | 否 | 数据缺失或稀薄,模型会用看似合理的细节填空 |
| 关于模型自身的任何问题,包括它的截止日期 | 否 | 模型没有关于自己训练过程的记录 |
| 你自己的文档、你自己的数据 | 否 | 从未出现在训练集里,请上传 |
解法是搜索,对没有搜索功能的模型也管用
截止日期没法往后挪,所以办法是在回答时把最新的文本递给模型。有两种机制可以做到这一点。上传文档会把你的文本放进提示词里,模型据此作答。联网搜索检索网页,对开放网络做同样的事。两者本质都是“接地”,也正是什么是RAG所描述的那套机制:模型依然是在预测,只不过依据的是训练之后出现的材料。
在Whizi里,联网搜索默认开启,就在输入框里附件按钮旁边,而且适用于你选择的任何模型。这最后一点才是真正有用的地方。无论是Claude还是某个Llama模型:开关打开后,两者都能根据实时信息源回答关于本周的问题。这个开关给的是许可而不是命令,所以让它写一首诗不会触发搜索,而一个带日期的问题会。搜索本身不消耗额外积分,消息只按回答它的那个模型的积分档位计费,和不开搜索时一样。
有一点必须说清楚。搜索解决的是过时问题,解决不了可信度问题。一篇过时的博客文章和一个官方页面被检索到的概率是一样的,所以涉及价格或规格时,请打开引用链接核实一遍,重要的事情不妨再问一个开着搜索的模型对照一下。
先假设落后六个月,再判断问题类型
假设每个模型至少落后六个月,一个你已经用了一段时间的模型则可能落后一年甚至更久。然后再判断问题类型。如果答案取决于这条线之后世界上发生的事实,就打开搜索或上传资料。如果答案取决于对话中已有内容的推理,截止日期就无关紧要,搜索可以关闭。
查日期请看模型卡,而不是问模型本身。当模型主动说出“截至我最后一次更新”时,把这句话理解为模型在复述它的训练数据,而不是在报告一个关于自己的事实,之后的所有内容都要保持同样的警惕。
- 截止日期以厂商的模型卡为准,永远不要靠问模型本身
- 假设上线时就已过时六个月,服役一段时间的模型则要按一年或更久估算
- 凡是涉及价格、版本号、日期或近期名称的问题,都打开联网搜索
- 答案取决于你自己的文本时,请上传文档,它从未出现在训练数据里
- 对搜索得到的价格或规格,打开引用链接核实,或再问一个开着搜索的模型
常见问题
什么是知识截止日期?
指模型训练数据不再收录新内容的那一天。模型不借助外部工具时所知道的一切,都来自这个日期之前。厂商会在模型卡上公布这个日期,有些还会公布两个:一个训练数据截止日期,一个更早的可靠知识截止日期,因为训练时最近几个月的内容在网络上覆盖还很稀薄。
ChatGPT的知识截止日期是什么时候?
这取决于对话背后用的是哪个模型,OpenAI会在模型页面公布每一个。GPT-4o的截止日期是2023年10月,GPT-4.1是2024年6月,GPT-5是2024年9月,各自在7到10个月后才发布。开启浏览功能后,ChatGPT会根据实时网页作答,不受底层截止日期限制。
为什么模型说不清自己的截止日期?
因为它没有关于自己训练过程的记录。被问到这个问题时,它会从训练数据里生成一个最可能的答案,而这往往描述的是一个更早的模型。Anthropic公开的系统提示词会用明文把截止日期告诉Claude,正是因为不这样模型自己根本不知道。模型卡才是唯一可靠的来源。
怎样才能从AI模型那里获得最新信息?
把最新的文本给它。联网搜索会把实时网页检索进提示词,上传文档则是把你自己的文本放进去。无论哪种方式,模型都是根据递给它的内容作答,而不是靠训练数据。Whizi默认为每个模型开启联网搜索,不额外消耗积分,所以一个本身没有检索能力的模型也能依据今天的信息源作答。
换一个更新的模型能解决截止日期问题吗?
它只是把那条线往后挪了一点,而发布当天依然落后好几个月:GPT-5发布时距离截止日期已经十个月,Claude 3.7 Sonnet也有四个月。而且每个模型在服役期间都会继续老化。搜索或上传解决的是过时问题,换新模型解决的是能力问题。