Оценка агентных систем
Всем привет! В этом разборе расскажу, как в оценке агентных систем перейти от ощущений к измеримым показателям: как проверять траекторию вызовов инструментов, как калибровать LLM-судью, когда звать асессоров, а когда хватит команды. А в конце покажу, как мы собрали всё это в единый пайплайн с гейтам…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — Machine Learning.
Ещё по теме
Почему сэмплеры 4+ порядка взрываются в диффузии, и как мы это починили: история создания Flow-WLS
Почему сэмплеры 4 и более порядков взрываются в диффузии, и как мы это починили: история создания Flow-WLS Читать далее
🧠Как мы в AI VK рекомендации на стримы делили
Привет! Это Иван Воробьев, ведущий инженер отдела базового качества рекомендаций в VK Видео (AI VK). Эта статья — про механизм рекомендаций…
🧠AI harness: кто управляет агентом и как проверить, что обвязка стала лучше
Представьте: агент подготовил ответ на обращение, вызвал сохранение черновика и получил тайм-аут. После перезапуска ему повторить запись, пр…
🧠Три стадии развития коммуникации с клиентом в ИТ
Привет, Хабр!После публикации истории развития CVM хочется поделиться практическими шагами по развитию коммуникаций с клиентами. Меня зовут…
🧠Amazon представила TorchNeuron — инструмент для запуска PyTorch на чипах Trainium
Amazon представила TorchNeuron — открытый программный модуль для переноса моделей машинного обучения на фирменные ускорители Trainium 2 и Tr…
🧠Можно ли собрать сервер из игровых комплектующих
Всем привет! Меня зовут Виталий, я инженер ЦОД. За все время работы с серверами я не раз сталкивался с конфигурациями, где граница между «се…