Тест «Змейки» на 38 локальных LLM: одна игра, два результата — почему Qwen 3.8-27B победила с первого прогона

«Сделай игру Змейку одним HTML-файлом» — популярный тест на генерацию кода. Мы прогнали его через 38 локальных LLM (от 7B до REAP-pruned моделей в ~140B активных параметров) и получили разделительную картину: 21 модель сдала рабочую игру, 16 — не запустились по конкретным техническим причинам. Победителем по оформлению стал Qwen 3.8-27B в квантовании Q4_K_M на связке из двух RTX 5060 Ti 16 ГБ: он сгенерировал неоновую аркаду со звуком, частицами и мобильными жестами с первого прогона — без единой правки.

В этой статье — полный список моделей по группам, реальные баги в «не рабочих» файлах и анализ, что именно отличает победителей от провалов.

Промпт: одинаковый для всех 38 моделей

Оригинальный текст запроса (на английском, без изменений):

Act as an expert front-end developer. Build a complete, fully functional, and visually polished Snake game contained within a single HTML file.

The code must include the HTML structure, CSS styling, and JavaScript logic together. Ensure there are no placeholders, no missing functions, and no external dependencies or CDNs required.

### Technical Requirements:

1. Architecture: Use a <canvas> element for rendering the game board grid.

2. Responsiveness: Center the game board on the screen. It must look clean on both desktop and mobile layouts.

3. Controls:
   - Keyboard: Arrow keys and WASD for movement. Prevent default browser scrolling when these keys are pressed.
   - Mobile: Include visible, on-screen touch buttons (Up, Down, Left, Right) that map to the controls.

4. Game Loop: Use requestAnimationFrame() or a reliable setInterval() loop to control the snake's speed smoothly.

### Game Rules & Mechanics:

- Start the snake at a fixed length (e.g., 3 blocks long) moving right.

- Spawn food at a random grid position. Ensure food never spawns directly on top of the snake's body.

- When the snake eats food, increase its length by 1, increment the score, and spawn a new piece of food.

- Implement collision detection: The game ends if the snake hits the outer walls or runs into its own body.

### UI & UX Polish:

- Sidebar or Top Bar: Display the "Current Score" and a persistent "High Score" (saved in localStorage).

- Screens: Include an overlay screen for "Press Start to Play" and a "Game Over" screen featuring a prominent "Restart" button.

- Aesthetics: Apply a modern dark theme (e.g., dark gray background, neon green snake, vibrant red food, crisp modern font).

Return ONLY the complete HTML code wrapped in a single ```html codeblock. Do not include markdown explanations outside of the codeblock.

Коротко по смыслу: один HTML-файл; canvas для игрового поля; центрирование и адаптивность под desktop/mobile; управление стрелками + WASD (с preventDefault от скролла) и видимые touch-кнопки Up/Down/Left/Right; игровой цикл на requestAnimationFrame или setInterval; змейка стартует длиной 3 вправо; еда — случайная клетка, не под телом; при съедании +1 к длине, счёт растёт, спавнится новая еда; столкновение со стеной или с собой = конец игры; боковая/верхняя панель с Current Score и High Score (localStorage); оверлей «Press Start to Play» и экран «Game Over» с заметной кнопкой Restart; современный тёмный стиль (тёмно-серый фон, неоновая зелёная змейка, ярко-красная еда, чёткий шрифт). В ответе — только полный HTML внутри одного блока.

Сознательно не требовали «красивости», анимаций или звука сверх ТЗ — чистый функциональный запрос. Всё лишнее модель добавляет сама, и именно это стало критерием субъективной оценки.

Результаты: 21 рабочая / 16 нерабочих

Результаты разделены на две группы: work — игра открывается и играбельна, not-work — не запускается или неиграбельна.

Рабочие — 21 модель

Нерабочие — 16 моделей и конкретные баги

Что отличает победителей от провалов

Разбирая 38 файлов по коду, выделили пять повторяющихся паттернов неудач:

1. CSS-переменные в canvas (gpt-oss-20b и др.) — LLM переносит веб-стиль в 2D API. fillStyle принимает только конкретные цвета/градиенты, а не var(--bg). Модели с «веб-фокусом» в корпусе чаще всего падают именно здесь.

2. Fall-through в switch без break (qwen3.5-9b-deepseek-v4-flash-mtp и др.) — классическая ошибка C/JS, которую LLMы копируют из фрагментов обучающих данных. Частота растёт у 7–10B моделей.

3. Неправильная геометрия еды (nvidia-nemotron-3.5-lightning) — модель путает «радиус круглого предмета» и «размер тайла сетки». В итоге еда не на своём месте или размером с полканваса.

4. Состояние после рестарта (Qwopus3.6-27B-Coder-MTP-NVFP4-TURBO) — двойной игровой цикл: requestAnimationFrame не останавливается при game over, и после кнопки «Рестарт» крутятся два цикла одновременно. Это редкий, но смертельный сценарий.

5. Нарушение явных пунктов ТЗ (t-lite-it-2.1, qwythos-9b) — не работают touch-кнопки, WASD сломан из-за регистра, змейка стартует не с трёх сегментов. Модель «решает задачу по-своему», игнорируя требования промпта.

Почему же Qwen 3.8-27B Q4_K_M дала лучший результат? По нашему наблюдению:

• Длинное размышление (~32K токенов reasoning) до кода — модель явно «проектировала» архитектуру игры (система частиц, звук через WebAudio, пауза, мобильные жесты), а не генерировала код строка за строкой.

• Гибрид DeltaNet экономит KV-кэш на длинных развёртках — 32K токенов рассуждений поместились в контекст без деградации качества (на чистых attention-моделях такого размера 32K reasoning часто «теряют» начальные пункты ТЗ).

• Q4_K_M при ~17 ГБ оставил на двух RTX 5060 Ti запас под KV-кэш — без обрезки контекста и троттлинга.

Итоги по размерам моделей

Вывод

«Змейка одним файлом» — не тривиальный тест. Из 38 локальных моделей только 55% дали играбельный результат, а в рабочей половине лишь Qwen 3.8-27B Q4_K_M закрыла ТЗ полностью и ещё добавила полировку (звук, частицы, жесты) сверх запроса. Для владельцев двух RTX 5060 Ti по 16 ГБ это практически бесплатная альтернатива дорогим API: один прогон ≈ 22 минуты генерации при 24 т/с — и игра уровня маленькой веб-аркады без единой правки.

Отдельные статьи с полным разбором каждой модели, скриншотами и кодом — в нашей серии по локальным LLM. Промпт приведён выше полностью; результаты разделены на группы work / not-work для воспроизведения теста любой читательской связкой.

Источники

1. Hugging Face — карточки использованных моделей (Unsloth GGUF, Cerebras REAP, Qwen): https://huggingface.co/models

2. Документация llama.cpp по multi-GPU tensor split: https://github.com/ggml-org/llama.cpp/wiki

3. Web Audio API — спецификация MDN для реализации звуковых эффектов в игре: https://developer.mozilla.org/en-US/docs/Web/API/Web_Audio_API

4. CanvasRenderingContext2D.fillStyle — допустимые значения (MDN), объясняющие баг с var(--bg): https://developer.mozilla.org/ru/docs/Web/API/Canvas_API/Tutorial/Drawing_shapes

5. requestAnimationFrame — MDN, игровой цикл в HTML5-играх: https://developer.mozilla.org/en-US/docs/Web/API/window/requestAnimationFrame