本地 LLM 能继续对话，因为运行时保持了激活上下文可用，也因为 KV Cache 让模型复用已经做过的计算工作。
听起来像记忆，但这和学到的知识、数据库、或长期个人记忆不是同一回事。
四个概念一次拆清
Context（上下文）
模型在生成 token 时能看到的所有信息。包括：
- System prompt
- User messages
- Assistant responses
- 任何通过 API 传入的内容
这是模型「看到」的东西，但每次请求都是独立的，不跨 session 保留。
Chat History（聊天历史）
你在 UI 里看到的对话记录。它保存在应用层，不在模型层。每次对话，你的消息和 AI 的回复都被存储起来，下次请求时重新发送给模型。
模型「记起」对话，是因为你在每次请求时把历史消息重新发给它，而不是模型真的记住了。
KV Cache（键值缓存）
这是模型内部的技术实现。
当模型处理一个序列时，它需要计算每个 token 的 Key 和 Value 向量。KV Cache 保存这些计算结果，这样下次生成 token 时不需要重新计算之前所有 token 的 K 和 V。
作用：加速生成——但它是模型内部的一次性计算副产品，不是存储机制。
Long-term Memory（长期记忆）
模型权重中编码的知识。这是预训练时学到的，在模型的生命周期内保持固定。
不包括你上周告诉它的任何事情，不包括你的偏好，不包括你上传的文档（除非你把它放到当前请求的上下文中）。
为什么本地 LLM 能「继续」对话
一个常见的初级解释：
「模型记住了我说的。」
这方向上是有用的，但技术上是粗糙的。
模型本身不是在改权重。不是在永久学习你的偏好。不是在把消息加到内部知识里。
相反，运行时把你的之前的 tokens 保存在激活 session 中，模型在生成下一个 token 时可以 attend 到这些 tokens。
那个激活 session 是临时的。
关键区别
正常推理时，模型不是从对话中学习。 它是用对话作为激活上下文。
当你关掉窗口、清除 session、或重启服务时，那个 KV Cache 就消失了。除非你的应用层把聊天历史保存下来，并在下次请求时重新发送给模型，否则模型不记得任何事情。
这就是为什么「session memory」这个词容易误导——它听起来像记忆，实际上只是「当前激活上下文窗口内的临时可用」。
为什么模型会「忘记」
当对话超出 context window 时，早期的 tokens 会被推出窗口。此时模型无法再 attend 到它们，看起来就像「忘了」之前说过的内容。
这不是模型真的忘了，而是那些内容不在它能看到的上下文中了。
KV Cache 是计算优化，不是记忆系统。 模型没有真正记住任何东西——它只是在你愿意支付 token 的范围内，把足够的上下文维持在它能访问的地方。