SGLang без магии: как устроены основные настройки инференса LLM
Когда LLM помещается на одной GPU и получает несколько запросов в минуту, настройка движка инференса обычно заканчивается на выборе модели и типа данных. Проблемы начинаются дальше: модель перестает помещаться в память, растет очередь запросов, длинные промпты съедают KV-кэш, а GPU простаивают в ожи…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — ИИ.
Ещё по теме
🤖Зачем мы совместили съёмку на зелёном фоне, 3D-рендеры и генеративный ИИ в одном видео и что у нас получилось
Использовать возможности нейросетей или организовать традиционную видеосъёмку? Рассказываем, как, получив задачу создать имиджевое видео, мы…
🤖Одна модель, разные результаты: как инфраструктура меняет бенчмарки ИИ-агентов
В этом году Anthropic опубликовала исследование инфраструктурного шума в бенчмарках для ИИ-агентов, которые пишут и запускают код. На Termin…
🤖Ассистент рисует и достраивает самого себя: метапознание и зарождение собственного замысла
см. часть 1: Как я создавал персонального ассистента на домашнем железесм. часть 2: Ассистент получает личность: память, сновидения и самовы…
🤖Claude Max против ChatGPT Pro: почему «в 5 раз выгоднее» — не совсем то, чем кажется
На днях SemiAnalysis опубликовали исследование с довольно убийственным для OpenAI выводом: подписка Claude якобы дает более чем в пять раз б…
🤖ИИ дешевеет, а ваш компьютер дорожает: как OpenAI и Anthropic устроили гонку цен
Цены пошли на спад. 22 сентября Anthropic и OpenAI с разницей примерно в полтора часа выпустили модели дешевле своих предшественников, а Dee…
Сколько телеграм-каналов вы читаете?
Сейчас почти всё переехало в Telegram: блогеры, авторитетные ресурсы, СМИ — у каждого свой канал.Утро. Открываю Telegram — счётчик непрочита…