Кейс
У большинства наших клиентов есть knowledge bases, каталоги продуктов, FAQ, внутренняя документация. Агент достаёт релевантные чанки в момент запроса. Качество retrieval напрямую определяет качество ответов.
Начали с OpenAI text-embedding-3-large. Потом Cohere. Потом популярная open-source модель. Каждая была неплохой. Ни одна не была отличной для наших специфичных данных.
Обучение доменно-специфичной модели
Мы дообучили (fine-tune) базовую модель на 350M параметров на 8M пар query-document из данных клиентов (с их согласия и с соответствующим privacy-контролем). Обучение заняло 4 дня на 8 H100.
Наша модель меньше, чем text-embedding-3-large, но ощутимо лучше на нашем retrieval-бенчмарке. Доменная специфика бьёт чистый scale, когда домен достаточно концентрирован.
Результаты
Retrieval recall@5 на нашем бенчмарке вырос с 71% (лучшее off-the-shelf) до 88%. End-to-end качество ответов (оценивали люди) улучшилось на 14% абсолютных.
Публикуем eval-методологию (не веса, это конкурентное преимущество). Методология в нашем research GitHub repo.