# BerryLM Wildberries & Russ

`BerryLM Wildberries & Russ` - reasoning-ориентированная модель, дообученная для сценариев с длинным контекстом, раздельной генерацией внутреннего рассуждения и финального ответа, а также повышенными требованиями к качеству финального текстового вывода.

## Модели и данные

### Базовая модель

Модель используется в режиме, где генерация логически разделена на два канала: `reasoning` и `final answer`. Такой формат позволяет:

- отделять внутренний ход рассуждения от финального ответа;
- контролировать объём и структуру промежуточного reasoning;
- устойчиво работать со сценариями, где модель должна держать длинный контекст и при этом не терять качество финального вывода.

На практике это означает, что post-training оптимизирует не только качество финального ответа, но и сам профиль рассуждения: его длину, завершённость и соотношение между внутренним reasoning и финальным пользовательским выводом.

### Датасет

Обучение проводится на миксе закрытых и открытых датасетов. Полный состав датасетного микса не раскрывается, однако по структуре данные представляют собой:

- диалоговые примеры в формате `messages`;
- пары `prompt -> Ground Truth`;
- примеры, в которых важны как качество reasoning, так и корректность финального ответа;
- данные, пригодные для post-training в режиме instruction following и коррекции ответа.

Такой формат позволяет одновременно оптимизировать:

- содержательную близость финального ответа к эталону;
- профиль reasoning по длине и плотности;
- устойчивость к избыточной генерации и зацикливанию;
- качество ответа в диалоговом формате.

## Метод: DAPO с Reward Hacking Prevention

В post-training используется `DAPO` - один из вариантов семейства `GRPO`, адаптированный под сценарии, где нужно одновременно контролировать качество ответа и форму reasoning-процесса. В рабочем контуре используется компактная система из двух reward-функций с весами `0.8 / 0.2`, собранная вокруг задачи предотвращения reward hacking.

### Reasoning Compression

Первая reward-функция отвечает за компрессию reasoning. В рабочем контуре ей соответствует основной reward-компонент, на которую приходится `80%` суммарного сигнала. Её задача состоит не в том, чтобы сделать рассуждение просто коротким, а в том, чтобы сделать его инструментальным:

- штрафовать избыточное, декоративное или раздутое reasoning;
- снижать выгоду от бессодержательной длины;
- уменьшать вероятность того, что модель начнёт оптимизировать reward через объём внутреннего текста, а не через качество решения.

Эта компонента задаёт основной регулятор поведения: её среднее значение остаётся отрицательным по определению задачи, но на tail-срезе улучшается относительно head-среза примерно на `0.2%`, что соответствует более устойчивому балансу между длиной reasoning и полезностью финального ответа.

### Language Answer Correctness

Вторая reward-функция отвечает за корректность финального ответа. На неё приходится `20%` суммарного сигнала. Она ориентирована на то, чтобы пользовательский ответ оставался:

- содержательно близким к эталонному ответу;
- языково корректным;
- пригодным для прямого потребления без необходимости интерпретировать внутреннее reasoning.

Эта часть reward-сигнала удерживает финальный ответ как основной объект оптимизации. Это означает, что контур не теряет семантическую привязку к эталону, даже когда политика уходит из почти нулевого update-режима.

### Почему это снижает reward hacking

Вместе эти две reward-функции создают узкий, но жёсткий контур:

- reasoning нельзя бесконечно раздувать без потерь;
- финальный ответ нельзя ухудшать без потери reward;
- сама форма генерации не должна становиться способом эксплуатации слабостей reward-сигнала.

## Архитектура обучения
После основного этапа RL-посттренировки применяется `Correction Post-Training`. Его роль - дополнительно выровнять финальное поведение модели:

- стабилизировать формат ответа;
- улучшить читаемость и чистоту финального канала;
- снизить вероятность артефактов, возникающих после reward-оптимизации;
- сделать пользовательский ответ более предсказуемым и пригодным для прикладных сценариев.

## Авторы

- Матвей Сапрыкин
- Юрий Софронов
- Александр Костылев
- Дамир Чанышев