提示词管线
提示词管线是把聊天变成提供商请求的固定、有序的阶段集合, 从用户输入到保存的消息。
管线做什么
每一次生成 —— 新消息、滑动、重新生成或代写 —— 都以相同的顺序经过相同的 阶段。管线从角色、人设、设定集和记忆中组装上下文,统计令牌, 把上下文装进模型的预算,让插件拦截,以选定的 instruct 格式渲染请求, 最后流式输出并保存响应。
本部分的页面
- 管线阶段 —— 按顺序排列的 14 个阶段,以及每个插件钩子必须遵守 的规则。
- Instruct 格式 —— 干净的消息数组如何使用沙箱化的 Handlebars 模板渲染。
- 分词 —— 本地分词器注册表及其近似回退。
- 上下文移位 —— 管线如何把上下文装进令牌预算, 以及有哪些策略。
实现
管线位于 apps/server/src/pipeline/。它完全在服务器上运行,
在任何网络调用之前,因此到达提供商的请求始终是相同确定性阶段的结果。