🤖 ИИ

Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости

Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости
Фото: Хабр — ИИ

В одной из своих статей, посвященной тестированию возможности запуска локальной модели на домашнем ПК, с не самой сильной и новой видеокартой, я показал, что 176B-класс Qwen3.8-Flash-Next можно запустить на GTX 1080 Ti с 11 GB VRAM, если использовать llama.cpp, правильный offload и DeepSeek Harness…

Полный материал — на сайте первоисточника

Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — ИИ.

Читать на habr.com ↗

Ещё по теме