Блог AST-SoftPro
Обзор квантов ByteShape для Qwen3.8-27B: ShapeLearn против Unsloth Dynamic
Введение
В августе 2026 Qwen3.8-27B — dense VLM на 27B параметров — стала одной из сильнейших локальных моделей: по AA Intelligence Index она делит с GPT-5.6 Luna второе место среди открытых весов (52 балла). BF16-версия занимает около 54 GB, что выводит её за пределы большинства потребительских GPU. Квантизация в GGUF — единственный способ запустить модель на 12–24 GB видеопамяти без заметной потери качества.
На Hugging Face сейчас три основных лагеря квантов Qwen3.8-27B: стандартные llama.cpp (Q4_K_M, Q5_K_M и другие), Unsloth Dynamic v3 и ByteShape ShapeLearn. В этой статье разберём, чем ByteShape отличается от базовых квантов и от Unsloth, какие цифры даёт на практике и что выбрать под конкретный сценарий. Отдельно — про Qwen3.8-Flash-Next: у ByteShape его нет, и это важный факт для планирования.
Как работает ShapeLearn
ByteShape строит кванты алгоритмом ShapeLearn — градиентным подбором типа данных (битности) для каждого тензора отдельно. Ключевая идея: в модели нет «одной оптимальной битности» — attention-слои, expert-весы MoE и embedding-матрицы теряют разное качество при одинаковом сжатии. ShapeLearn прогоняет градиентный спуск по функции потерь на реальных бенчмарках и для каждого тензора выбирает тип (IQ2_XXS, IQ3_S, Q4_K_M и другие), который даёт максимальное качество при заданном бюджете памяти.
Управляющий параметр — «агрессивность»: один гиперпараметр задаёт баланс между размером файла, скоростью генерации и качеством. Это принципиально отличается от подхода Unsloth Dynamic, где карта тензоров строится эвристически (вручную или по профилям) и оптимизируется под KLD (KL-дивергенцию распределений) и top-1 agreement.
ShapeLearn-Lite — урезанный вариант с меньшим бюджетом оптимизации: меньше проверок, быстрее выпуск. Именно Lite-серия первой появилась для Qwen3.8-27B («поставили модель на 12–24 GB GPU за несколько дней»), а полный ShapeLearn вышел позже и «сдвинул качество-скорость фронтон дальше Lite».
💡 Для продакшн-решений это важно: квант, оптимизированный под бенчмарки (GSM8K, LiveCodeBench), не гарантирует поведение на ваших данных. Перед внедрением прогоните модель на своём домене — особенно если задача критична по безопасности или точности.
Что выпущено для Qwen3.8-27B у ByteShape
Актуальный репозиторий byteshape/Qwen3.8-27B-GGUF (обновлён 1 день назад, более 27 тысяч загрузок) содержит полную серию ShapeLearn:
| Вариант | Файл | bpw | Размер | Качество (% от BF16) |
|---|---|---|---|---|
| GPU-1 | IQ2_XXS-2.56bpw | 2.56 | 8.8 GB | 93.04% |
| GPU-2 | IQ3_XXS-2.88bpw | 2.88 | 9.9 GB | 96.56% |
| GPU-3 | IQ3_XS-3.01bpw | 3.01 | 10.4 GB | 97.26% |
| GPU-4 | IQ3_S-3.23bpw | 3.23 | 11.0 GB | 98.72% |
| GPU-5 | IQ4_XS-3.84bpw | 3.84 | 13.1 GB | 99.63% |
Раньше была серия Lite (IQ3_S 3.44bpw / 10.79 GB — 97.33% … Q5_K_M 5.60bpw / 17.53 GB — 99.19%), но она заменена полным ShapeLearn: при том же размере качество выше, а нижняя граница сдвинута до 2.56 bpw (8.8 GB).
Бенчмарк-свит ByteShape: Instruct — GSM8K, IFEval, MMLU, LiveCodeBench V6, Multi-IF, ACEBench; Thinking — ACEBench, Multiple HumanEval, BFCL V4 (семь поднаборов tool-use). Это заметно шире стандартного «perplexity + KLD», который используют многие квантовщики.
Сравнение с Unsloth Dynamic v3
Unsloth выпустил Dynamic v3 для Qwen3.8-27B 19–20 августа 2026 с заявкой: более чем на 10% лучше top-1 accuracy при равном размере против «всех остальных провайдеров». Доступные кванты:
| Файл | Размер |
|---|---|
| UD-IQ1_S | 6.19 GB |
| UD-Q2_K_XL | 9.83 GB |
| UD-IQ3_XXS | 10.9 GB |
| UD-IQ4_XS | 14.3 GB |
| UD-Q5_K_M | 19.8 GB |
| UD-Q6_K | 22.0 GB (более 90% от BF16) |
Ключевое честное сравнение (из блога ByteShape): Unsloth UD-IQ3_S даёт KLD примерно на 20% ниже, чем сопоставимый по размеру Lite-1 ByteShape (0.028759 против 0.035875), но интегральный балл бенчмарков ниже: 95.55% против 97.33% от BF16. Это главный аргумент ByteShape: низкий KLD — не гарантия лучшей работы на задачах, потому что KLD измеряет близость распределений токенов, а не качество выполнения задачи.
Практический вывод: если вам важна «максимально чистая» модель (тонкая настройка, дистилляция) — Unsloth с низким KLD предпочтительнее. Если важна готовность к работе (агентные задачи, кодинг, tool-use) — ShapeLearn выигрывает на бенчмарках при равном размере.
⚠️ Типичная ошибка: выбирать квант только по bpw или размеру файла. При одинаковых 10–11 GB разные методологии дают разный результат (95.5% против 97.3% от BF16 — это два процентных пункта, на агентных задачах заметные).
Скорость генерации
ByteShape публикует TPS по GPU для GPU-5 (IQ4_XS 3.84bpw, 13.1 GB): RTX Pro 6000 — 90.42 t/s, RTX 5090 — 93.66 t/s, RTX 4090 — 59.16 t/s, RTX 3090 и 4080 — около 45.7 t/s, RTX 5060 Ti — 29.15 t/s. Спекулятивное декодирование: MTP ×1.28–1.66, DFlash2 ×1.34–2.10 к базовому NTP.
Для стека на 2× RTX 5060 Ti (по 32 GB) это означает: GPU-5 влезает с запасом, около 29 t/s baseline — приемлемо для интерактива; с MTP выходит более 40 t/s. Для сравнения: наш Flash-Next UD-Q2_K_XL на сервере даёт PP около 154 / TG около 11.5 t/s — dense 27B в кванте 3.84bpw заметно быстрее в генерации при сопоставимом размере.
Qwen3.8-Flash-Next: у ByteShape его нет
Проверили репозитории byteshape на Hugging Face: Qwen3.8-Flash-Next-GGUF от ByteShape не существует. Только Qwen3.8-27B-GGUF. Для Flash-Next (MoE 125B, около 6B активных) кванты дают unsloth (UD-Q2_K_XL 78.9 GB, UD-IQ4_XS 93.7 GB), bartowski, ISTA-DASLab GSQ-RCO и другие — см. наш предыдущий обзор по Flash-Next.
Практический смысл: если цель — «самый качественный квант для 24–32 GB GPU», берите ByteShape ShapeLearn для dense Qwen3.8-27B. Если нужен MoE с длинным контекстом и n-gram/PLE — пока только Unsloth/bartowski, ByteShape туда не заходил (по состоянию на сентябрь 2026).
Что выбрать: рекомендации
| Сценарий | Рекомендация | Почему |
|---|---|---|
| 8–10 GB VRAM, максимум качества | ByteShape GPU-1/2 (IQ2_XXS/IQ3_XXS) | 93–96.5% от BF16 при минимальном размере |
| 12–14 GB VRAM, агентные задачи | ByteShape GPU-5 (IQ4_XS 3.84bpw) | 99.63% от BF16 — практически полная модель |
| Нужен низкий KLD для дистилляции/LoRA | Unsloth UD-IQ3_XXS / UD-Q4_K_M | KLD на 20% ниже при равном размере |
| 24 GB VRAM, «почти BF16» | Unsloth UD-Q5_K_M (19.8 GB) или ByteShape Lite-6 (Q5_K_M 17.53 GB) | Оба около 99% от BF16 |
| MoE Flash-Next на ≤84 GB | Unsloth UD-Q2_K_XL / bartowski IQ3_XXS | У ByteShape нет варианта |
💡 Выбор кванта — лишь половина задачи. Вторая половина — корректная настройка inference (MTP, expert cache, контекст) и проверка на своих данных. Команды, которые доверяют критичные LLM-интеграции опытным разработчикам, экономят время на отладке edge-кейсов, которые не видны в бенчмарках.
Заключение
ByteShape ShapeLearn — это перенос квантизации из «эвристического» режима (Unsloth Dynamic) в «обучаемый»: градиентный подбор типа данных на тензор под реальные бенчмарки. Для Qwen3.8-27B результат: 99.63% от BF16 при 13.1 GB и около 29 t/s на RTX 5060 Ti — это лучший плотный квант для потребительских GPU на сегодня. Unsloth Dynamic v3 остаётся сильным выбором там, где важен низкий KLD (дальнейшая дообучаемость), а не готовность к работе «из коробки». Qwen3.8-Flash-Next от ByteShape пока отсутствует — для MoE по-прежнему опираться на Unsloth/bartowski/ISTA.
Главный практический вывод: не выбирайте квант по bpw и KLD — выбирайте по интегральному баллу на бенчмарках, релевантных вашей задаче, и обязательно валидируйте на своих данных перед продакшном.