Блог о разработке и проектах

Квантование больших языковых моделей: полное руководство по методам, потере точности и практическим рекомендациям

Введение Запуск больших языковых моделей (LLM) в продакшене — это не просто вопрос выбора модели. Это вопрос того, сколько VRAM она займёт, сколько токенов в секунду выдаст, и скол…

Модели REAP: обзор технологии сжатия MoE-моделей от Cerebras

Что такое REAP и почему это прорыв в сжатии LLM REAP (Router-weighted Expert Activation Pruning) — это метод одношагового сжатия Mixture-of-Experts (MoE) моделей, разработанный ком…

Почему у разных LLM при одинаковых параметрах разная память для контекста: Mamba, KV-кэш и архитектура

Введение Если запустить Llama 3.1 8B и Granite 4.1 8B на одном GPU с контекстом в 128 000 токенов, вы заметите неожиданную вещь: при практически одинаковом количестве параметров тр…

IBM Granite: история, назначение и сравнение с аналогами

Введение На фоне доминирования Meta[^1] с Llama и Anthropic с Claude в публичном дискурсе об открытых языковых моделях, семейство IBM Granite часто остаётся за рамками внимания. Пр…

Llama-модели: история, назначение и сравнение с аналогами

Введение Llama-модели от Meta[^1] — одна из самых влиятельных линеек открытых больших языковых моделей в индустрии. С момента первого выпуска в 2023 году они прошли путь от экспери…

GPT-OSS: OpenAI выпускает открытые модели — история, сравнение и что это значит для бизнеса

26 августа 2025 года OpenAI совершил шаг, который многие считали невозможным: выпустил первые модели с открытыми весами. Линейка GPT-OSS включает две модели — gpt-oss-120b и gpt-os…