Домашний ПК для инференса LLM: от б/у X79 до RTX 5090

Локальный инференс больших языковых моделей перестал быть игрушкой датацентров. На домашнем ПК сегодня держат Qwen3.8-27B целиком в видеопамяти или 125-миллиардную MoE-модель Qwen3.8 Flash Next на дешёвой серверной платформе — и используют их как ежедневных ассистентов для кода, документов и агентов. Разбираем четыре уровня сборок — от б/у X79 до RTX 5090 — на примере двух реальных машин: Windows-хоста с двумя RTX 5060 Ti (Qwen3.8-27B) и Ubuntu-сервера Machinist MD8 на Xeon E5-2680 v4 (Flash Next IQ3_XXS).

Зачем домашнему ПК отдельная машина под LLM

Главная валюта локального инференса — видеопамять. Квантованная 27-миллиардная модель занимает 15–20 ГБ: это влезает на одну карту среднего класса, но уже мало для комфортной работы с большим контекстом и параллельными агентными сессиями. Контекст в 30–60 тысяч токенов добавляет к весам модели ещё несколько гигабайт KV-кэша, а агентные сценарии (Claude Code, автоматические воркеры) держат в памяти сразу несколько диалогов.

Второй ресурс — пропускная способность памяти. Именно она определяет скорость: сколько токенов генерации вы получите в секунду и как быстро будет обработан большой запрос (prefill). У потребительских карт на GDDR7 это сотни гигабайт в секунду, у серверных решений с HBM — больше, но они дороги. Поэтому домашние сборки строятся вокруг видеокарты, а процессор и платформа подбираются под неё: дёшево, чтобы не переплачивать за то, что LLM почти не использует.

Третья валюта — оперативная память. Она становится ключевой, когда модель не влезает целиком в VRAM: llama.cpp умеет выгружать часть слоёв на CPU (offload), и тогда скорость падает, но сама работа модели сохраняется. Именно так живут сборки с 64–128 ГБ RAM: они позволяют держать большие кванты или MoE-модели ценой скорости генерации.

💡 Практическое правило: модель должна влезать целиком — либо в VRAM (быстро), либо в RAM (дёшево). Половинчатые решения, где модель постоянно «перетекает» между памятью и видеопамятью, работают хуже всего: они съедают и скорость, и нервы.

Уровень первый: б/у X79 — входной билет за копейки

LGA 2011 (X79) — платформа 2013 года, которую до сих пор активно покупают на вторичке. Комплект из китайской материнской платы, одного-двух Xeon E5-26xx v1/v2 и серверной памяти стоит на Avito и AliExpress от нескольких тысяч рублей за плату до 15–20 тысяч за полный комплект (ориентировочно). Ключевая особенность X79 — четырёхканельный контроллер DDR3 ECC REG: это самая дешёвая оперативная память на рынке, планка на 8 ГБ DDR3 REG обходится в полтора-два раза дешевле desktop-DDR4.

⚠️ Осторожно с объявлениями: часть китайских плат, продаваемых как «X79 DDR4», по факту — X99-класс (LGA 2011-v3). Проверьте сокет и поколение поддерживаемых Xeon в описании: E5 v1/v2 работают только с DDR3, E5 v3/v4 — только с DDR4.

Что имеет смысл ставить на такую машину? Малые кванты и дистилляты 7–20B. Для чисто CPU-сценариев Xeon E5-2680 v2 (10 ядер / 20 потоков) даёт приемлемые 5–10 токенов/с на малых моделях, а два таких процессора в двухсокетной сборке удваивают пропускную способность памяти. MoE-модели вроде Flash Next на чистом CPU без CUDA-GPU работают плохо — специализированные движки (Glyd, Strata) требуют видеокарту NVIDIA, поэтому X79-сборка остаётся «входным билетом» для небольших моделей, а не для флагманских.

Видеокарта при этом — отдельная статья расходов: даже б/у RTX 3060 12 ГБ (по данным Avito, октябрь 2026 — от ~15 до ~30 тыс. ₽ в зависимости от состояния и продавца) превращает X79 в гибридную машину, где часть слоёв живёт на GPU. Итог уровня «первый»: полная сборка с б/у картой и ECC-памятью укладывается примерно в 45–75 тысяч рублей (оценка по вторичному рынку) и способна держать 14B-модели целиком в VRAM или малые модели на CPU.

Уровень «рабочий»: X99 — проверенная платформа нашего Ubuntu-сервера

X99 (LGA 2011-v3) — та же логика, что и X79, но на более свежей платформе: четырёхканальный контроллер DDR4 ECC, PCIe 3.0 с достаточным числом линий для двух видеокарт, поддержка Xeon v3/v4 с AVX2. Именно на X99 построен наш Ubuntu-сервер Machinist MD8: двухсокетная плата Machinist C612, два Xeon E5-2680 v4 (14 ядер / 28 потоков каждый), 64 GB ECC DDR4 и две RTX 4070 12GB.

На этой машине крутится Qwen3.8 Flash Next IQ3_XXS — самый удачный квант для гибридного инференса: сборка занимает около 75 ГБ (модель + n-gram таблица), целиком в VRAM она не помещается, поэтому движок выгружает холодные эксперты в RAM и memory-maps n-gram таблицу на диск. Итоговая скорость — примерно 10–13 токенов/с генерации и 200–230 токенов/с обработки промпта (PP) на чистом llama.cpp; специализированный движок Strata поднимает цифры до PP ~1500–2000 / TG ~50. Для агентного сценария Claude Code это комфортный уровень: диалоги по 50–100 тысяч токенов обрабатываются за десятки секунд, а контекст сервера настроен на 116k.

Цена вопроса сегодня (по данным Avito и AliExpress, октябрь 2026): комплект X99-плата + E5-2680 v4 — от ~4 до ~10 тыс. ₽ за сокет (двойной комплект — порядка 8–18 тыс.), 64 ГБ DDR4 ECC REG — 25–35 тыс. ₽ (планка 16GB по 6,1–6,6 тыс. ₽). Две RTX 4070 (б/у) — по 50–70 тысяч каждая (RTX 4070 Super на Avito от ~60 тыс.). Полная сборка уровня Machinist MD8 с двумя картами укладывается примерно в 120–160 тысяч рублей, из которых почти половина — видеокарты.

Ключевой апгрейд X99 для LLM — память. Платформа поддерживает до 128 ГБ ECC на сокет (RDIMM/LRDIMM): DDR4 в четыре канала на каждый процессор резко поднимает пропускную способность CPU-инференса. Для Flash Next с offload'ом это буквально удваивает скорость генерации: переход с двух каналов на четыре даёт примерно 35 ГБ/с против 17–20, а два Xeon E5-2697 v4 (18 ядер) плюс 128 GB RAM делают гибридный инференс почти безболезненным. Второй путь — не докупать карты, а расширять RAM: модель IQ3_XXS влезает целиком в 128 ГБ и перестаёт зависеть от VRAM вообще.

Уровень «оптимальный»: AM4/AM5 и Intel LGA 1700 с одной современной картой

Если X99 — это про максимальную дешёвую RAM, то современные desktop-платформы — про скорость видеокарты. Золотая середина 2026 года: одна RTX 5070 Ti 16GB (по данным розницы в России, октябрь 2026 — от 130 до 145 тыс. ₽) или б/у RTX 4070 Ti Super 16GB (по данным Avito — от ~65 до ~95 тыс. ₽). 16 ГБ VRAM хватает на 14B-модели целиком и на 27B в компактном кванте с небольшим offload'ом.

Платформа под такую карту подбирается по остаточному принципу, потому что LLM почти не нагружает CPU: — AM4 (Ryzen 5 5600 + B450/B550) — самый дешёвый вход: б/у комплекты платы+CPU+32GB DDR4 укладываются в 15–25 тысяч рублей. PCIe 4.0, для одной карты этого более чем достаточно; — AM5 (Ryzen 7 7700 + B650) — задел на апгрейд: DDR5 и живая платформа с поддержкой следующих поколений CPU, комплект 30–45 тысяч. 64 GB DDR5 сегодня стоит дороже ECC-аналогов X99, зато даёт более высокую скорость для задач с малыми батчами; — Intel LGA 1200 (i5-10400/i7-10700 + B460/B560) — б/у комплект 12–20 тысяч, PCIe 3.0, DDR4: по сути конкурент X99 без ECC и мультисокета; — Intel LGA 1700 (i5-12400/i5-13400 + B660/B760) — б/у комплекты от 18–30 тысяч, DDR4 или DDR5 на выбор платы. Это самый популярный вариант «купить новое и не думать»: DDR4-платы позволяют использовать дешёвую память прошлых поколений; — Intel LGA 1851 (Core Ultra 200S) — свежая платформа для тех, кто строит надолго: дороже, но с PCIe 5.0 и поддержкой DDR5 с высокими частотами. Для инференса сегодня практического преимущества над 1700 почти нет — узкое место всё равно в видеокарте.

Смысл этого уровня прост: одна карта на 16 ГБ VRAM целиком держит Qwen-класс 14B (и Flash Next в компактном кванте), а CPU-платформа выбирается по цене б/у комплекта, а не по «игровой» репутации. Полная сборка AM4/B550 + RTX 5070 Ti обходится примерно в 165–210 тысяч рублей (оценка) и для ежедневного ассистента этого хватает; если взять б/у RTX 4070 Ti Super вместо новой 5070 Ti, сборка укладывается в ~130–180 тыс.

Уровень «максимальный»: две-три карты на актуальных платформах — наш Windows-хост

Верхняя полка домашних сборок — несколько потребительских карт с большим объёмом VRAM. Наша текущая рабочая машина на Windows: 2× RTX 5060 Ti 16GB (в модификации с 32,6 ГБ эффективной видеопамяти в пуле llama.cpp), на ней крутится Qwen3.8-27B целиком в VRAM плюс n-gram/MTP спекулятивное декодирование — скорость PP около 600 токенов/с и TG 45 токенов/с с черновиком, что делает её полноценным хостом для Claude Code: агентные сессии с контекстом в десятки тысяч токенов проходят без ожидания.

Почему две карты вместо одной? llama.cpp (и движки на его базе) поддерживают tensor-parallel разбиение модели между GPU: веса делятся по слоям, обе карты работают одновременно, суммарная VRAM складывается — 32+ ГБ пула позволяют держать полный IQ4/Q5 квант 27B с большим контекстом и параллельные worker'ы. Важное ограничение: для комфортной двухкарточной работы нужен CPU с достаточным числом PCIe-линий и хорошая продувка корпуса; desktop-платформы AM5/LGA 1700/1851 позволяют ставить две карты в режимах x8+x8 или x16+x4 (последний вариант приемлем для LLM, потому что второй слот чаще всего простаивает без offload'а).

Цены верхней полки: RTX 5090 32GB — около 130–170 тысяч рублей; б/у RTX 4090 24GB — 90–120 тысяч, и это по-прежнему лучший «один большой GPU» для дома. Плата под три карты — серверная (LGA 2011-v3 dual или Threadripper), либо desktop с x8/x8 бифуркацией. Полная сборка уровня «домашний инференс-стенд» на одной RTX 5090 стоит примерно 160–200 тысяч рублей, на двух RTX 4090 — сопоставимо, но даёт больше VRAM и параллелизма.

Сравнение уровней: что выбрать под свой сценарий

Какие бизнес-задачи тянет каждая сборка

Стоимость железа имеет смысл только в привязке к сценарию. Одна и та же модель на разных сборках даёт разный пользовательский опыт: где-то важна задержка первого токена, где-то — длина контекста, где-то — число одновременных диалогов. Ниже — карта задач, для которых разумно использовать каждый уровень.

Чат-бот первой линии

Поддержка клиентов, ответы на типовые вопросы, приём заявок. Достаточно модели класса 7–14B в кванте Q4–Q5: она уверенно держит диалог и извлечение фактов, а цена ошибки здесь ниже, чем в аналитике. Критичны низкая задержка ответа и несколько параллельных сессий, поэтому нужен хотя бы один GPU на 12–16 ГБ — X79 с б/у RTX 3060 12GB или AM4 с современной картой. Под 10–20 одновременных диалогов KV-кэш занимает ещё 3–6 ГБ, это стоит учитывать при выборе видеопамяти. Для продакшена обязательны фильтры тем, ограничение длины ответа и журналирование: модель без обвязки легко уходит в нерелевантные рассуждения.

RAG по внутренней базе знаний

Поиск по регламентам, договорам, технической документации. Здесь языковая модель — только последнее звено: качество определяется нарезкой документов, эмбеддингами и реранкером. Для генерации нужно 8–32 тысячи токенов контекста, а если документы длинные — 116k, как у Flash Next на нашем Ubuntu-сервере. Практичный вариант — X99 со 128 ГБ RAM: модель и векторная база живут на одной машине, эмбеддинги считаются на процессоре или на той же видеокарте. Экономия на реранкере почти всегда видна пользователю: ответы становятся «похожими по теме», но не по делу.

AI-агент с инструментами

Самый требовательный сценарий: длинный системный промпт, многошаговые вызовы инструментов, история на десятки тысяч токенов и несколько параллельных воркеров. Нужна либо модель целиком в видеопамяти — наш Windows-хост с 2× RTX 5060 Ti и Qwen3.8-27B, — либо серверная сборка с Flash Next под Strata на X99. На слабом железе агент формально работает, но ошибки в вызовах инструментов и обрывы контекста съедают всю выгоду. Надёжность агентных сценариев определяется не только моделью: нужны повторные попытки, проверка аргументов и ограничение числа шагов.

Копирайтинг и контент

Статьи, описания товаров, рассылки, редактура. Скорость здесь не критична: важнее качество и устойчивость к длинным инструкциям, поэтому выигрывает 27B в кванте Q5–Q6. Подойдёт X79 или AM4 с 27B в компактном кванте и частичной выгрузкой в RAM: одна генерация идёт минутами, зато ночью можно готовить пачки материалов. Для публикуемого контента обязательна человеческая вычитка — модель уверенно расставляет факты неверно, если их нет в контексте.

Голосовой бот

Распознавание речи, языковая модель и синтез в одном конвейере. Бюджет задержки — около 1–1,5 секунды на реплику, поэтому распознавание и синтез лучше держать на GPU, а языковую модель брать компактную, 7–14B. Хватает одной современной карты на AM4/AM5; на X99 это тоже работает, но выигрыша от серверной платформы здесь нет — важнее дисциплина задержек. Наш голосовой сервис вынесен на отдельный узел: распознавание GigaAM-v3 и синтез не конкурируют за видеопамять с большой моделью.

Аналитика и извлечение данных

Генерация SQL по вопросу на естественном языке, разбор договоров, суммаризация звонков и переписки. Требуются длинный контекст и аккуратность, поэтому комфортный уровень — 27B или Flash Next на X99 с 128 ГБ RAM. Результат обязательно проверяется: любая аналитика без валидации запросов и сверки с эталонными выборками рано или поздно выдаёт правдоподобную, но неверную цифру.

Пакетная обработка документов

Классификация, суммаризация и разметка тысяч документов. Здесь важна суммарная пропускная способность, а не задержка отдельного ответа: подойдёт X99 с выгрузкой части слоёв на CPU или многокарточная сборка. Такие задачи удобно ставить в ночное окно, когда интерактивные пользователи не конкурируют за видеопамять.

💡 Практическое правило: сначала выберите задачу и бюджет задержки, потом модель, и только потом железо. Сборка «под всё сразу» почти всегда оказывается либо переплатой за простой чат-бот, либо компромиссом, на котором не работают агенты.

Практика: как мы гоняем Qwen на двух машинах

На Windows-хосте Qwen3.8-27B поднят через llama.cpp server с двумя GPU и спекулятивным декодированием (ngram + draft-MTP): агентные задачи Claude Code идут со стабильными 40–50 токенов/с, а длинные промпты обрабатываются почти мгновенно благодаря PP ~600. Здесь важен именно VRAM-пул: модель целиком в видеопамяти — CPU и RAM работают только на оркестрацию.

На Ubuntu Machinist MD8 Qwen3.8 Flash Next IQ3_XXS работает под управлением движка Strata: 49 слоёв offload'ятся на DDR4 ECC, две RTX 4070 держат остаток, а n-gram таблица memory-mapped с диска. Скорость на этой конфигурации — около 50 токенов/с генерации и 1500–2000 токенов/с обработки промпта (PP). Такой профиль позволяет держать контекст 116k и несколько сессий одновременно: сервер обслуживает API-эндпоинты нескольких проектов, включая CRM и ассистентов.

Оба сценария подтверждают главное правило домашнего LLM-железа: модель должна влезать целиком — либо в VRAM (быстро), либо в RAM (дёшево). Половинчатые решения работают хуже всего: постоянный offload «на границе памяти» съедает и скорость, и нервы.

Источники

• Qwen3.8-Flash-Next — карточка модели на Hugging Face

• unsloth/Qwen3.8-Flash-Next-GGUF — каталог квантов и требования к памяти

• Qwen3.8-27B — карточка плотной модели на Hugging Face

• llama.cpp: инструкция по сборке и запуску

• NVIDIA GeForce RTX 5090 — официальные характеристики

• NVIDIA GeForce RTX 4070 — семейство

• TechPowerUp: GeForce RTX 5060 Ti 16 GB — характеристики и пропускная способность памяти

• TechPowerUp: GeForce RTX 4070 — характеристики

• Regard: цены на RTX 5070 Ti в российской рознице

• Regard: цены на RTX 5090

• AliExpress: платы X99 и процессоры Xeon E5

• AliExpress: серверная память DDR4 ECC REG

Цены на вторичном рынке (Avito), приведённые в статье, — результат ручного мониторинга объявлений в октябре 2026; Avito блокирует автоматические проверки ссылок, поэтому прямые ссылки на объявления не приводятся. Замеры скорости на двух машинах — собственные, выполнены бенчмарком llama.cpp в сентябре–октябре 2026.