AST-SoftPro
Опыт внедрения Python, телеграм-ботов и AI-решений, заметки команды и кейсы заказчиков
Step 3.5 Flash: Локальный форк Claude Code на двух RTX 5060 Ti В этой статье рассказываем о практическом опыте запуска модели Cerebras-Step-3.5-Flash-REAP-149B-A11B-IQ2-M.gguf на л…
В январе 2026 года китайская компания StepFun выпустила Step 3.5 Flash — открытую модель с архитектурой Mixture of Experts, которая активирует лишь 11 из 196 миллиардов параметров …
Введение Запуск больших языковых моделей (LLM) в продакшене — это не просто вопрос выбора модели. Это вопрос того, сколько VRAM она займёт, сколько токенов в секунду выдаст, и скол…
Что такое REAP и почему это прорыв в сжатии LLM REAP (Router-weighted Expert Activation Pruning) — это метод одношагового сжатия Mixture-of-Experts (MoE) моделей, разработанный ком…
Введение Если запустить Llama 3.1 8B и Granite 4.1 8B на одном GPU с контекстом в 128 000 токенов, вы заметите неожиданную вещь: при практически одинаковом количестве параметров тр…
Введение На фоне доминирования Meta[^1] с Llama и Anthropic с Claude в публичном дискурсе об открытых языковых моделях, семейство IBM Granite часто остаётся за рамками внимания. Пр…