Перейти к основному содержимому

Конвейер промптов

Конвейер промптов — это фиксированный упорядоченный набор этапов, который превращает чат в запрос к провайдеру: от ввода пользователя до сохранённого сообщения.

Что делает конвейер​

Каждая генерация — новое сообщение, свайп, регенерация или имитация — проходит через одни и те же этапы в одном и том же порядке. Конвейер собирает контекст из персонажа, персоны, лорбука и памяти, считает токены, вписывает контекст в бюджет модели, позволяет плагинам перехватывать, рендерит запрос в выбранном instruct-формате и, наконец, стримит и сохраняет ответ.

Страницы этого раздела​

  • Этапы конвейера — 14 этапов по порядку и правила, которым должен следовать каждый хук плагина.
  • Instruct-форматы — как чистый массив сообщений рендерится песочными шаблонами Handlebars.
  • Токенизация — локальный реестр токенизаторов и его приближённое резервное решение.
  • Контекст-шифтинг — как конвейер вписывает контекст в бюджет токенов и какие стратегии существуют.

Реализация​

Конвейер живёт в apps/server/src/pipeline/. Он выполняется полностью на сервере, до любого сетевого вызова, поэтому запрос, достигающий провайдера, всегда является результатом одних и тех же детерминированных этапов.

Связанные разделы​

  • Перехватчики плагинов и их API регистрации документированы в Plugin SDK.
  • Конечная точка генерации и аудит контекста входят в Справочник API.
  • Адаптеры провайдеров, потребляющие сериализованный запрос, документированы в разделе Провайдеры.