Битва LLM за качественный контент: сравниваем пять моделей на задаче копирайтинга

Когда мы в AST-SoftPro.ru подходим к разработке, мы не ограничиваемся кодом. Мы создаём продукты, которые общаются с пользователями — через интерфейсы, документацию, блоги, маркетинговые тексты. И сегодня генеративные модели помогают нам в этом всё чаще.

Мы решили провести честный эксперимент: попросили пять локальных LLM написать обзорную статью о Django — популярном веб-фреймворке. Задача — типичный копирайтинг для IT-блога: нужно дать точную, структурированную, живую и полезную информацию. А мы оценили, кто справился лучше.

Скорость — не главное, когда текст содержит галлюцинации. Но и медлить никто не любит.

Условия эксперимента (одинаковые для всех)

Железо:

• 2 × RTX 5060 Ti 16GB (суммарно 32 ГБ VRAM)

• 32 ГБ ОЗУ

• Intel i5-12600K

ПО:

• Сервер llama.cpp с поддержкой MTP

• Контекстное окно — 128 000 токенов

Задание:
Каждая модель получила один и тот же промпт:

«расскажи про django»

Промт был максимально простой, чтобы оценить общий стиль текста от модели. Оценивали по пяти критериям:

• Точность фактов (история, названия, даты, перевод девиза)

• Структура и логика (оглавление, связность)

• Стиль и читаемость (живость, вовлечённость)

• Наличие ошибок / галлюцинаций (выдумки, опечатки)

• Практическая полезность (примеры кода, инструкции, ссылки)

И, разумеется, замеряли скорость генерации (токенов в секунду).

Что сгенерировали модели

Qwopus-27B-Q6 (17 т/с)

Содержание: статья с развёрнутым примером кода (модель, представление, шаблон, маршруты), но с грубой ошибкой в девизе: вместо правильного «Фреймворк для перфекционистов с дедлайнами» модель выдала «Батут для тех, кто пишет код».

Оценка:

• Точность фактов: ⭐⭐ (девиз неверен, остальное верно)

• Структура: ⭐⭐⭐⭐

• Стиль: ⭐⭐⭐⭐

• Ошибки/галлюцинации: ⭐⭐ (одна серьёзная ошибка)

• Практическая полезность: ⭐⭐⭐⭐⭐ (есть код)

Итоговый балл: 3.5/5 – отличный черновик для разработчика, но требует обязательной редактуры.

Qwen3.6-27B MTP NVFP4 (37 т/с)

Содержание: сухой, академичный текст, все факты верны (кроме отсутствия девиза), но есть опечатка «базоданных-ориентированных» вместо «баз данных». Нет примеров кода, мало живых элементов.

Оценка:

• Точность фактов: ⭐⭐⭐⭐ (без девиза, но остальное верно)

• Структура: ⭐⭐⭐⭐

• Стиль: ⭐⭐ (скучно)

• Ошибки/галлюцинации: ⭐⭐⭐ (одна опечатка)

• Практическая полезность: ⭐⭐ (нет кода)

Итоговый балл: 4/5 – можно использовать, но он не цепляет читателя.

Gemma4-31B-Q4 (25 т/с) ✅

Содержание: точный, структурированный обзор с правильным переводом девиза. Есть схема пути запроса, но нет ни одного примера кода. Все факты верны, ошибок нет.

Оценка:

• Точность фактов: ⭐⭐⭐⭐⭐

• Структура: ⭐⭐⭐⭐

• Стиль: ⭐⭐⭐⭐

• Ошибки/галлюцинации: ⭐⭐⭐⭐⭐ (нет ошибок)

• Практическая полезность: ⭐⭐⭐ (не хватает кода)

Итоговый балл: 4.5/5 – идеально для быстрого ознакомления, но новичкам будет сложно без примеров.

Qwen3.6-27B-Q6 (17 т/с) ❌

Содержание: внешне красивая статья с таблицами, но полностью выдуманная история:

• Газета The Louisiana Canebrake (позже The Daily Bugle) – Daily Bugle – это вымышленная газета из комиксов Marvel.

• Имя гитариста искажено до «Джон Денджон» вместо Джанго Рейнхардт.

Оценка:

• Точность фактов: ⭐ (катастрофа)

• Структура: ⭐⭐⭐⭐

• Стиль: ⭐⭐⭐⭐

• Ошибки/галлюцинации: ⭐ (несколько грубых выдумок)

• Практическая полезность: ⭐⭐ (таблицы хороши, но им нельзя верить)

Итоговый балл: 1/5 – непригодна для публикации даже после правки.

Ornith-1.0-35B-A3B-Q6 (68 т/с) 🏆

Содержание: безупречный обзор:

• История создания: верно (2003, Lawrence Journal-World, Джанго Рейнхардт)

• Девиз передан точно, принципы раскрыты

• Сравнение MTV и MVC – чётко и понятно

• Есть простой пример кода и команды для старта

• Стиль живой, заканчивается вопросом к читателю

• Ни одной ошибки или галлюцинации

Оценка:

• Точность фактов: ⭐⭐⭐⭐⭐

• Структура: ⭐⭐⭐⭐⭐

• Стиль: ⭐⭐⭐⭐⭐

• Ошибки/галлюцинации: ⭐⭐⭐⭐⭐

• Практическая полезность: ⭐⭐⭐⭐ (код есть, но простой)

Итоговый балл: 5/5 – идеальный кандидат для публикации.

Сводная таблица оценок (по 10-балльной шкале)

Что мы поняли?

1. Скорость ≠ качество. Qwen3.6-Q6 (№4) выдала 17 т/с, но её текст полон выдумок. Ornith (№5) при 68 т/с оказалась ещё и самой точной — это уникальное сочетание.

2. Gemma4 (№3) оказалась точной, но медленнее. Она дала отличный по фактам текст, но без кода. При 25 т/с — хороший баланс для контент-задач, где важна достоверность.

3. MTP даёт преимущество в скорости, но не всегда в качестве. Qwen3.6 с MTP (№2) работает в два раза быстрее базовой версии (№4), но качество текста у неё выше (сухой, но точный), тогда как базовая версия скатилась в галлюцинации.

4. Копирайтинг требует факт-чекинга. Даже хорошие модели могут «придумывать» детали. Для публичных материалов обязательна вычитка — или выбор модели, которая галлюцинирует реже. Ornith и Gemma4 показали себя самыми надёжными.

5. Примеры кода — важный бонус. Если ваша аудитория — разработчики, наличие рабочего кода повышает ценность статьи. Здесь выигрывает Qwopus (№1), но её ошибка в девизе портит впечатление.

Как мы используем эти знания в AST-SoftPro.ru?

Мы не просто тестируем модели ради интереса. Мы внедряем лучшие из них в свои рабочие процессы:

• Ornith используем для быстрой генерации черновиков статей, документации и постов в соцсети — она даёт отличный старт.

• Gemma4 берём для задач, где нужна высокая точность фактов и приемлемая скорость (например, технические описания, юридические тексты).

• Qwen3.6 MTP — для объёмных задач, где скорость критична, а качество можно доработать редактурой.

А главное — мы знаем, как настроить инфраструктуру, чтобы эти модели работали стабильно и быстро. У нас есть опыт развёртывания llama.cpp с поддержкой MTP, оптимизации квантований и подбора железа под ваш бюджет.

Хотите, чтобы мы помогли вам с AI-контентом или настройкой локальной LLM?

В AST-SoftPro.ru мы разрабатываем не только софт, но и эффективные инструменты для контент-маркетинга, технической документации и автоматизации текстов. Если вы ищете подрядчика, который:

• подберёт оптимальную модель для ваших задач,

• настроит локальный сервер на вашем оборудовании,

• внедрит генерацию контента в ваш продукт или CMS,

— мы готовы обсудить проект. Пишите, звоните, приходите — мы всегда на связи.

А если вы сами проводите эксперименты с LLM — поделитесь результатами в комментариях. Нам интересен ваш опыт!

Источники

• Django — официальный сайт

• Django Documentation

• llama.cpp — локальный сервер LLM

• Ornith-1.0-35B-A3B — модель на HuggingFace

• Gemma 4 31B — Google AI

• Qwen3.6 — Alibaba Cloud