Хватит измерять harness на глаз: внедряем evals и метрики
Подробнее о докладе
Спикеры
15+ лет в ИТ. Прошел путь fullstack, teamlead. Работает CTO в Вебпрактик (~150 человек). Пишет на PHP, Typescript, Nodejs (Nest) и React. Влюблен в Linux, Open Source. Внедряет AI в SDLC 2 года со 100% adoption, строит сквозные AI процессы. Организатор ростовского PHP-сообщества (500+ человек). ПК Podlodka, TechLeadConf, CTOconf, ПЫХ.Конф, AgenticConf.
Кому полезно
Тимлиды, Техлиды, Инженеры
О чём доклад
Harness все больше становится ядром разработки, ключевым продуктом.
Регресс в harness может привлечь к сильным просадкам в скорости и качестве работы, нам необходима уверенность в том что изменение скила, переход на новую или более слабую модель не просаживает качество нашего ядра. Eval - это автотесты ключевого компонента вашей разработки, в этом докладе мы разберем как их строить.
Покрытие eval'ами harness это не только уверенность в стабильности, но и петля обратной связи для постоянного улучшения, а также возможность значительно экономить, точно ли вам нужны топовые модели, или вы достигаете приемлемого для вас уровня качества на более слабых моделях.