Тестирование LLM‑фичи: можно ли верить своему eval
Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасные ответы и создаёт ложное ощущение надёжности. Разбираем семь ошибок тестирования LLM‑функций и способы построить eval…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — Machine Learning.
Ещё по теме
🧠Как ИИ-агенты повторяют задачу: промпт, скилл, граф или код
Агент один раз сверил прайс-лист и собрал отчёт. Через неделю пришёл новый файл, и задачу нужно повторить. На повторном запуске агент снова…
🧠Meta* выпустила самую мощную открытую модель США. Китайские все равно сильнее
Meta* (признана экстремистской и запрещена в РФ) 15 октября выложила веса Muse Spark Open – открытой версии своей модели Muse Spark. Компани…
🧠Silero TTS v5 теперь умеет и в эмфазы, и в вопросы и восклицания
Не так давно мы писали обнову нашего публичного синтеза, silero-tts. В прошлый раз мы завезли постановку вопросов.В этот раз доехало аж неск…
🧠Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября T…
🧠Как мы сделали классификатор металлопроката на 15+ млн SKU
Можно ли разложить 15+ млн хаотичных товаров по 1100 категориям за месяц? Да – без зубодробительного ML и миллионных затрат на LLM-инференс!…
🧠А давайте пустим ИИ в промышленную сеть
Когда на принятие решения есть десятки миллисекунд, зависимость от облака становится проблемой для промышленной автоматизации. Edge AI позво…