[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM
![[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM](https://habrastorage.org/getpro/habr/upload_files/09d/d3e/2dc/09dd3e2dc11319089edcfacc2b6780cd.webp)
Большинство инструкций по локальному запуску LLM сводятся к одной-двум командам: вставьте их в терминал, дождитесь загрузки модели и готово. Такой подход работает ровно до первой ошибки. После этого становится непонятно, на каком из нескольких уровней возникла проблема: в Windows, WSL2, драйвере NVI…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — Machine Learning.
Ещё по теме
🧠Как ИИ-агенты повторяют задачу: промпт, скилл, граф или код
Агент один раз сверил прайс-лист и собрал отчёт. Через неделю пришёл новый файл, и задачу нужно повторить. На повторном запуске агент снова…
🧠Meta* выпустила самую мощную открытую модель США. Китайские все равно сильнее
Meta* (признана экстремистской и запрещена в РФ) 15 октября выложила веса Muse Spark Open – открытой версии своей модели Muse Spark. Компани…
🧠Silero TTS v5 теперь умеет и в эмфазы, и в вопросы и восклицания
Не так давно мы писали обнову нашего публичного синтеза, silero-tts. В прошлый раз мы завезли постановку вопросов.В этот раз доехало аж неск…
🧠Тестирование LLM‑фичи: можно ли верить своему eval
Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой с…
🧠Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября T…
🧠Как мы сделали классификатор металлопроката на 15+ млн SKU
Можно ли разложить 15+ млн хаотичных товаров по 1100 категориям за месяц? Да – без зубодробительного ML и миллионных затрат на LLM-инференс!…