Glyd против Strata и Infernix: три движка для Qwen3.8-Flash-Next на потребительском железе

Qwen3.8-Flash-Next (125B MoE, 6B активных, 262K контекст) стал главным «локальным флагманом» осени 2026. За месяц вокруг него выросло сразу несколько inference-движков, заточенных под одно семейство моделей. Свежий — Glyd (Rust + CUDA), заявивший 117–173 tok/s на одной RTX 4080 SUPER 16 GB. Разбираем его рядом с двумя уже состоявшимися конкурентами: Strata и Infernix.

Модель, которую все гоняют

Qwen3.8-Flash-Next — ультра-разреженный MoE: 125B основных параметров + 51B n-gram embedding table, из которых на токен активируется ~6B. Нативный контекст — 262 144 токена (до 1M через YaRN). Архитектура построена на гибриде Gated DeltaNet и Gated Attention и рассчитана на выгрузку n-gram эмбеддингов в оперативную память. Именно эта «512 эксперта на слой, активны только ~10» делает модель привлекательной для CPU+GPU гибридного инференса — и именно поэтому каждый из трёх движков решает одну и ту же задачу: как удержать горячих экспертов в VRAM, а холодных — в RAM, не теряя скорость.

Glyd: Rust + CUDA, адаптивный квант по экспертам, 16 GB GPU

Glyd — самостоятельный inference-движок на Rust + CUDA (автор surya-koritala); первый «большой» запуск — Qwen3.8-Flash-Next на одной 16 GB видеокарте и 64 GB оперативной памяти.

Ключевые цифры (RTX 4080 SUPER 16 GB + Ryzen 9 7950X3D + 64 GB RAM):

• Чат: 117 tok/s в точном режиме (по умолчанию), 135 tok/s в быстром режиме

• Пиковая скорость (короткий промпт, жадная генерация): 145 в точном режиме / 169–173 в быстром режиме

• Прочтение 32K-промпта — ~7 секунд; 261K — ~66 секунд

• GSM8K: 148/150 в обоих режимах; MMLU-Pro: 124/150 (точный режим), 118/150 (быстрый режим)

• На NVIDIA A10 (24 GB, Ubuntu 22.04): 101 tok/s в чате

Что отличает Glyd:

• Адаптивный per-expert квант. Не один uniform-квант: каждый эксперт получает собственную битность по степени использования моделью — ~2.7 bit в среднем в точном режиме, ~2.1 bit в быстром; attention и остальное — 4–5 bit. KV cache — полный bf16, без квантования.

• Гибрид CPU+GPU для экспертов. GPU держит самых «занятых» экспертов, RAM — остальные; CPU считает промахи параллельно с GPU.

• Speculative decoding (предсказательное декодирование) через собственный draft-head модели: модель сама предсказывает несколько токенов вперёд, один проход их проверяет.

• Контекст до 262 144, повторный ход длинного чата стартует за <1 с (диалог переиспользуется).

Что входит: чат-приложение с живыми превью страниц/игр, flowcharts как диаграммы, живой Monitor (GPU/RAM/tok/s); OpenAI-совместимый API (/v1) и Anthropic-совместимый API (/v1/messages) — работают Open WebUI, Continue, Cline и Claude Code; MCP server; tools/bench.sh для отчёта о скорости. Всё на Rust: сервер, загрузчик моделей, утилиты.

Ограничения (автор честно): пока только Linux (Windows «позже»), только текст (без ввода изображений), один запрос за раз, обязателен 64 GB RAM. Установка: git clone + ./setup.sh — без sudo, без Python; скачивает модель с Hugging Face и открывает чат на 127.0.0.1:8080. Диск ~90 GB.

Strata: один клик для Windows/Linux, зрелый и «упакованный»

Strata (Niko1221) — C++ inference engine, частично построенный на базе llama.cpp/ggml и заточенный под одно семейство моделей — Qwen3.8-Flash-Next. За 10 дней набрал ~9 805 звёзд на GitHub; лицензия MIT.

Упаковка:

• Один клик: Windows — двойной клик по стартовому .bat-файлу, Linux — ./setup.sh. Сам подбирает квант под доступную RAM.

• API в форматах OpenAI и Anthropic на localhost, веб-чат с опциональным входом изображений, выбор уровня рассуждений (выкл / low / medium / высокий).

• Community-бенчмарки опубликованы; есть сторонние менеджеры (Strata Manager) и Docker.

Скорость (RTX 5070 12 GB + 64 GB RAM, декодирование / обработка промпта):

По данным Microsoft Community Hub, на H100 NVL (все эксперты в VRAM, ~4-bit GGUF) Strata выдаёт ~151 tok/s на один запрос; на RTX 4090 сообщество зафиксировало ~100–120 tok/s. Динамический кэш экспертов: горячие подгружаются из RAM в VRAM по LRU, постоянных «закреплённых» экспертов нет.

Особенности: нативный 262K контекст; MTP / n-gram черновики опционально; несколько параллельных слотов (в отличие от Glyd); ввод изображений поддерживается. Mac не поддерживается.

Infernix: форк NInfer, заточен под RTX 5090

Infernix (Wallawalla47) — C++/CUDA single-GPU inference engine для Qwen3.8 (включая Flash-Next с выгруженными экспертами), выросший из NInfer (Neroued). Читает артефакты .ninfer и собственные .infernix.

Ключевые цифры:

• RTX 5090: декодирование ~127–138 tok/s (один запрос, жадная генерация); в батчинге того же прогона — ~129 tok/s.

• Prefill длинных промптов быстрее NInfer: 1.36× на 128K, 1.53× на 230K. На 230K у NInfer черновики принимались чаще (4.67 против 3.15 токенов/раунд), поэтому без спекуляции Infernix быстрее именно в prefill.

• Нативный контекст модели — 262 144; на RTX 5090 с --max-context 262144 и INT8 KV протестирован prefill промпта в 245 760 токенов. DFlash2 tree-verification + n-gram copy drafting; компактные KV-форматы (vq2, k4v2) держат в 3–4 раза больше контекста, чем INT8.

Позиционирование: не «один клик» — требует сборки C++/CUDA и артефактов .infernix/.ninfer. Нишевый: оптимизирован под RTX 50-серии (настроен на 5090). API в формате OpenAI.

Сравнительная таблица

Выводы: что выбрать под задачу

• Максимальная скорость на одной 16 GB карте + интерес к «чистому» движку → Glyd. Единственный с адаптивным per-expert квантом и опубликованными бенчмарками качества (GSM8K/MMLU-Pro). Но: только Linux, только текст, один запрос, обязателен 64 GB RAM — и проект совсем молодой.

• Удобство «из коробки» на Windows/Linux, ввод изображений, стабильность → Strata. Самый зрелый и упакованный: один клик, веб-чат с живыми превью, community-бенчмарки, MIT. На слабых 12 GB картах декодирование ниже Glyd (62–94 против 117+), но на H100 NVL догоняет и обходит за счёт «всего в VRAM».

• RTX 5090 и интерес к максимальному prefill / форку NInfer → Infernix. Быстрее NInfer на длинных промптах, DFlash2; но не «один клик» и требует сборки.

Все три решают одну архитектурную задачу Flash-Next — гибрид CPU+GPU для экспертов + speculative decoding (предсказательное декодирование) — но делают это разными стеками (Rust/C++/C++), с разной степенью «упаковки» и на разных целевых GPU. Для повседневной агентной работы на Windows сегодня практичнее Strata; для экспериментов со скоростью на Linux и 16 GB VRAM — Glyd; для 5090 и длинных промптов — Infernix.

Источники

1. Пост u/Subject_Poet_3861 в r/Qwen_AI — Glyd, Qwen3.8-Flash-Next на 4080 SUPER (Reddit блокирует автоматические проверки ссылок, поэтому ссылка не проверялась)

2. GitHub: Niko1221/Strata + community-бенчмарки (Developers Digest, Hacker News, explainx.ai)

3. GitHub: Wallawalla47/Infernix — форк NInfer для RTX 5090

4. Hugging Face: Qwen/Qwen3.8-Flash-Next и unsloth/Qwen3.8-Flash-Next-GGUF