Модуль Умной Памяти

Представим ситуацию, вы переписывались со своим персонажем в течение некоторого времени, но вдруг заметили, что персонаж начал забывать некоторые факты из чата. Можно, конечно, использовать авторские заметки, чтобы самому вручную записывать информацию, но можно также включить специальный модуль, который снизит нагрузку от контекста для языковой модели, вследствие чего она будет генерировать текст гораздо быстрее, чем если бы история чата полностью шла в контекстное окно модели. Именно для таких ситуаций и был создан модуль Умной Памяти - эффективный инструмент, который помогает языковой модели сохранять целостность вашего диалога, даже когда история чата становится очень длинной.

В отличие от простого усечения истории чата до последних N сообщений, Умная Память работает почти как настоящая человеческая память: она запоминает важные моменты и вспоминает их именно тогда, когда они нужны. Когда вы отправляете сообщение происходит следующее:

1. Модуль анализирует динамически определяемое количество сообщений из чата
2. Затем выделяются те части диалога, которые наиболее релевантны вашему текущему сообщению
3. После этого контекст структурируется на долгосрочную (важная информация из чата) и краткосрочную (последние несколько сообщений перед отправляемым) памяти
4. И наконец модуль умно встраивает эту информацию в промпт модели, чтобы она вспомнила всё необходимое.

Предположим, что вы вели ролевую игру с персонажем и где-то в начале чата ему оторвало руку (ну бывает такое, жаль его), а это значит, что модель должна при необходимости вспомнить этот момент и не воображать персонажу несуществующую руку. И вот вы, спустя сообщений 200, спрашиваете персонажа: "Братан, где твоя рука? Что-то я подзабыл немного, где ты её потерял.". Без модуля Умной Памяти модель скорее всего напишет отсебятину, ведь информация о событии с потерей руки ушла далеко за пределы контекстного окна. А при включенном модуле программа обнаружит, что упоминание руки персонажа семантически (с точки зрения смысла) связано с ранними событиями, где фигурировала потеря руки персонажа, затем включит в итоговый промпт фрагмент с этим событием, а персонаж магическим образом вспомнит и отреагирует на ваши слова.

Система не просто разбивает диалог на сообщения, а выделяет логические сегменты - смысловые блоки, где меняется тема или завершается мысль. Это позволяет находить целые контекстные фрагменты, а не отдельные сообщения. Двухуровневая структура памяти работает как человеческая память: мы помним ключевые события из прошлого и чётко помним, что происходило только что. В итоге модуль позволяет вашим персонажам стать ещё ближе к одушевлению, помнить прошлые события, которые могли происходить ещё в начале чата, корректно реагировать на ваши слова и создавать по-настоящему увлекательные истории, которые развиваются точно по заданному вами канону, независимо от того, сколько у вас в чате сообщений.

В следующем разделе мы рассмотрим модуль Soul of Waifu System, который отвечает за звонки персонажу (с интерфейсом или без), назначение персонажам аватаров и фонов, а также за включение фонового звукового сопровождения.