Eval-ы, это 80% prompt-инженерии
Большинство команд пишут промпты и релизят. Мы не релизим изменение промпта без прогона его через 200-кейсовый eval suite. Продакшн-инциденты от изменений промптов упали почти до нуля с тех пор, как мы это построили.
Относитесь к промптам как к коду
Каждый промпт в git. Каждое изменение идёт через PR review. Каждое изменение имеет revert-путь. Звучит очевидно; многие команды этого не делают.
Правило, которое нас спасло
Если изменение промпта улучшает качество в среднем, но делает worst case хуже — не релизьте.
Среднее качество — это нормально, но клиенты запоминают worst-case взаимодействие. Мы оптимизируем эффективность tail, а не mean. Это правило поймало немало блестящих изменений промпта, которые выглядели бы прекрасно в eval-ах и куда хуже — в реальной жизни.