Промпт, который применяется только к новым звонкам

Промпт разбора звонков нельзя накатить на старые записи задним числом. Полезный провал и вывод.

Что случилось

Собрал первую версию дашборда качества, показал руководителю отдела заботы.

Реакция была прямой: такой низкий процент не может быть правдой, где-то ошибка.

Это правильный ответ. Не «спасибо, красиво», а сомнение в цифре — потому что человек знает свою команду и видит, что данные не сходятся с реальностью.

Первая причина

Промпты настроены грубо. Промпт — это инструкция для нейросети, по которой она оценивает разговор. Под каждый пункт чек-листа нужна своя формулировка: «поздоровался» и «уточнил модель техники» проверяются по-разному.

А работала фактически общая логика. Нейросеть отвечала честно — её просто плохо спросили. Переписал.

Вторая причина, и вот она серьёзная

Обновлённый промпт применяется только к новым звонкам. Старые остаются с оценками по старой логике. Пересчитать историю нельзя.

Сколько бы я ни улучшал формулировки, всё, что разобрано раньше, остаётся оценённым неправильно.

Почему это меняет проект целиком

Дашборд качества — инструмент про динамику. Смысл в том, чтобы сравнивать: стало лучше или хуже.

Если часть периода посчитана по одной логике, а часть по другой — сравнивать нельзя. График покажет рост или падение, которого не было: просто сменилась линейка.

И это невидимо. График рисуется, цифры красивые, никто не догадается.

Что сделал

Зафиксировал дату, с которой данные считаются достоверными. Всё, что раньше — справочно, но не для выводов о людях.

Неприятное решение: накопленную историю мы теряем. Но альтернатива хуже — принимать решения по сотрудникам на основе цифр, посчитанных по-разному.

Вывод

Прежде чем строить что-то на данных внешнего сервиса, задайте один вопрос: что произойдёт с уже посчитанными данными, если изменить правила подсчёта?

Ответ бывает трёх видов: пересчитается всё, пересчитается только новое, или никто не знает. Второй и третий полностью меняют планирование — и лучше узнать это в первую неделю.

И отдельно: этот баг нашёл не я и не тесты. Его нашёл человек, который сказал «не верю этой цифре». Ощущение, что цифра странная — это полноценный баг-репорт.