🤖 ИИ

70 токенов в секунду в qwen3.8-27b на RTX 3090

70 токенов в секунду в qwen3.8-27b на RTX 3090
Фото: Хабр — ИИ

На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению прямой путь - скачать модель с официального аккаунта qwen на huggingface -> запустить в своем любимом инференс-движке может не привести к хорошему резуль…

Полный материал — на сайте первоисточника

Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — ИИ.

Читать на habr.com ↗

Ещё по теме