«Ты senior Python-разработчик» сделал агента хуже: проверил 7 популярных приписок к промптам
Чаевые, «меня уволят», «ты senior Python-разработчик», «подумай как следует», ultrathink. Проверил народные приписки на кодинг-агенте: пять задач, скрытые тесты, 156 прогонов.Чаевые помогли, но подняли счёт сильнее всех. «Подумай» и «меня уволят» помогли почти даром. А «сеньор» провалил задачу 8 раз…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — Machine Learning.
Ещё по теме
🧠Как ИИ-агенты повторяют задачу: промпт, скилл, граф или код
Агент один раз сверил прайс-лист и собрал отчёт. Через неделю пришёл новый файл, и задачу нужно повторить. На повторном запуске агент снова…
🧠Meta* выпустила самую мощную открытую модель США. Китайские все равно сильнее
Meta* (признана экстремистской и запрещена в РФ) 15 октября выложила веса Muse Spark Open – открытой версии своей модели Muse Spark. Компани…
🧠Silero TTS v5 теперь умеет и в эмфазы, и в вопросы и восклицания
Не так давно мы писали обнову нашего публичного синтеза, silero-tts. В прошлый раз мы завезли постановку вопросов.В этот раз доехало аж неск…
🧠Тестирование LLM‑фичи: можно ли верить своему eval
Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой с…
🧠Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября T…
🧠Как мы сделали классификатор металлопроката на 15+ млн SKU
Можно ли разложить 15+ млн хаотичных товаров по 1100 категориям за месяц? Да – без зубодробительного ML и миллионных затрат на LLM-инференс!…