AST-SoftPro
Опыт внедрения Python, телеграм-ботов и AI-решений, заметки команды и кейсы заказчиков
Что такое capy-flash Capy-flash — это движок локального инференса, который заводит на потребительские видеокарты Blackwell две тяжёлые модели Qwen: 125-параметрический MoE Qwen3.8-…
Введение 20 октября 2026 года DeepSeek опубликовала в GitHub репозиторий DeepInfer — собственный инференс-фреймворк, на котором работает её продакшн-сервис. Лицензия Apache 2.0, ко…
Локальный инференс больших языковых моделей перестал быть игрушкой датацентров. На домашнем ПК сегодня держат Qwen3.8-27B целиком в видеопамяти или 125-миллиардную MoE-модель Qwen3…
Qwen3.8-Flash-Next (125B MoE, 6B активных, 262K контекст) стал главным «локальным флагманом» осени 2026. За месяц вокруг него выросло сразу несколько inference-движков, заточенных …
Введение За последние два месяца — с августа по октябрь 2026 года — рынок больших языковых моделей прошёл через один из самых насыщенных периодов за всю историю отрасли. Meta[^1] в…
Введение Локальный инференс больших моделей перестал быть нишевым хобби: компании всё чаще ставят Qwen3.8-27B или аналоги на одну мощную видеокарту, чтобы не платить за облачные то…