Бенчмарк
5 000 реплик voice-агента из реальных клиентских разговоров (анонимизированных). Три типа задач: small talk, структурированный сбор информации, multi-step reasoning. Сравниваемые модели: GPT-4o, Claude 3.5 Sonnet, наша in-house 13B, наша in-house 70B и популярная open-source 70B.
Выводы
На small talk все модели практически равны. Разница в качестве, шум. Latency и стоимость доминируют при выборе.
На structured information gathering, Claude и наша 13B выигрывают. Они следуют инструкциям надёжнее.
На multi-step reasoning, GPT-4o и наша 70B ведут. Значительный gap с другими моделями.
Что это означает
Нет «лучшей» модели, есть лучшая модель для каждого turn. Routing per-turn значительно выигрывает у выбора одной модели для всего.
Наша продакшн-система маршрутизирует ~70% turns на маленькие быстрые модели, ~25% на средние, ~5% на самую большую. Качество держится; стоимость заметно падает.