Нейросетевой нище-зуд и кеш экспертов
Зуд бывает нестерпимым и злым. От него никуда не деться, он изводит. Вот и некоторые задачи, даже если их выкинул и надёжно завинтил крышку мусорного бака, никуда не деваются из головы, и зудят, зудят, зудят на периферии мыслей.

Вот и у меня, понимаешь, зудит. Потому что никак не могу выжать из видеокарты на 8 ГБ полезную работу на ниве кодинга. И казалось бы, всем давно известно что из говна фекалий не сделать пулю, но стоит придти очередной идее на данную тему, и я тут же бегу выжимать. Без раздумий, без сомнений, без здравого смысла.
Этим утром проснулся с чётким желанием попробовать кеш экспертов на Qwen3‑30B‑A3B. Тридцать миллиардов параметров, восемь гигабайт видеопамяти и один человек, которому опять неймётся. На выходе хотелось увидеть гиперпрыжок на Canvas. Для начала хватило бы и просто приличного кода.
Гиперпрыжок на восьми гигабайтах
На днях я уже устраивал локальным моделям экзамен по кодингу. После очередного фейла на древней видюхе сидел на маркетплейсе, офигевал от цен на карточки вдвое мощнее и гораздо современнее моего барахла, а в голове крутилась предательская мыслишка про занять, но выпить купить.
И тогда подумалось, что протестировать модель можно и на CPU.

Выбрал день, подготовил среду, условия, промпт. Задание простое на словах: один HTML-файл, звёздное небо и по пробелу — разгон, гиперпрыжок, торможение и обратно к звёздам. Вот полное ТЗ.
Создай одностраничное веб-приложение — один файл index.html, который при открытии двойным кликом (без сервера) показывает бесконечную анимацию звёздного неба с эффектом гиперпрыжка. Сцена и фазы: 1. IDLE (начальная): на чёрном фоне не менее 300 звёзд в случайных позициях; каждая мерцает по синусоиде со своей фазой и частотой; звёзды — точки 1–2 px, белый или голубоватый цвет. 2. По Space начинается JUMP: звёзды разлетаются от центра, вытягиваясь в радиальные линии. Реализация — 3D-проекция: у каждой звезды x, y, z; z уменьшается к наблюдателю; экранные координаты = (x/z, y/z) с масштабом; звезду рисовать линией от предыдущей проекции к текущей. Разгон плавный (ease-in), 1.5–2 секунды до максимальной скорости. 3. CRUISE: 3–5 секунд на максимальной скорости, стрики стабильны, у центра экрана — лёгкое голубоватое свечение (допустим радиальный градиент). 4. EXIT: торможение 1.5–2 секунды (ease-out), стрики укорачиваются в точки; в момент нулевой скорости экран на 100–200 мс заливается белым с плавным затуханием, звёздное поле полностью пересоздаётся новыми случайными звёздами. 5. После EXIT — снова IDLE, Space снова работает. Цикл повторяем бесконечно. Управление: - Space — запустить прыжок (только в IDLE, нажатия в других фазах игнорируются); - R — полный перезапуск: новые звёзды, фаза IDLE; - H — скрыть/показать HUD (для записи видео). HUD в левом верхнем углу: название фазы, FPS, число звёзд, monospace. Технически: 1. Только vanilla JS + Canvas 2D + DOM, всё в одном index.html; никаких внешних библиотек, CDN, картинок, шрифтов и модулей. 2. Всё движение через requestAnimationFrame с deltaTime; скорость одинакова при 60 и 144 Гц. deltaTime ограничить сверху (clamp ~50 мс): после переключения вкладки и возврата не должно быть рывка или «взрыва» звёзд. 3. Звёзды, долетевшие до наблюдателя (z <= минимума), не удаляются, а перерождаются на дальней границе с новыми случайными x, y — число звёзд постоянно. 4. Resize: центр проекции пересчитывается, фазы не сбрасываются. 5. Все константы (число звёзд, длительности фаз, скорости, цвета, вспышка) — в объекте CONFIG в начале скрипта. 6. Целевой объём — 350–600 строк читаемого кода с комментариями к фазам. Критерий готовности: файл открывается двойным кликом, анимация идёт сразу, консоль (F12) чистая от ошибок и предупреждений, созданных кодом страницы; цикл IDLE > JUMP > CRUISE > EXIT > новые звёзды > IDLE повторяется сколько угодно раз без багов.
Т.е. на выходе ожидалась несложная анимация. Это тебе не Fusion 360 писать. Впрочем, для чистоты эксперимента, бахнул данную задачку ещё и двум облачным монстрам (GLM и ChatGPT). А в качестве локальных LLM выбрал Qwen3 8B (GPU 8 ГБ) и Qwen3 14B (CPU).
Результат выложил в моём ТГ-канале, хотя и не показал как это выглядело визуально.
Как видишь, локальные модели жидко обср… не справились. Так что, погоревав над очередным фейлом, и порадовавшись сэкономленным деньгам, я гордо ушёл в закат, украдкой утирая скупую мужскую слезу и сморкаясь в платок.
И даже успокоился до вчерашнего вечера, когда увидел видео про кеш экспертов в llama.cpp. И опять зазудело. Если на каждом шаге модели нужна лишь часть весов, можно ли держать под рукой те, за которыми она чаще бегает?
Кого тут вообще зовут экспертами
Эксперт в MoE (Mixture of Experts, «смесь экспертов») — небольшая нейросеть внутри слоя. У Qwen3‑30B‑A3B в каждом таком слое их 128. Маршрутизатор смотрит на текущее представление токена, выбирает восемь экспертов и решает, с каким весом сложить их результаты. На следующем токене восьмёрка может быть уже другой.
Отсюда и цифры в названии. Всего у модели 30,5 млрд параметров, при обработке одного токена задействуется около 3,3 млрд. Считать нужно по части весов, а хранить приходится весь набор: заранее неизвестно, кого выберет маршрутизатор на следующем шаге. Карточка модели Qwen.
Что кладём в видеопамять
Представь верстак и шкаф. В шкафу (RAM) лежат веса всех вынесенных из GPU экспертов. На верстаке (VRAM) оставляем копии весов, которыми недавно пользовались. Если маршрутизатор снова позвал того же эксперта, видеокарта сразу берёт его веса. Если их там нет, за ними приходится лезть в шкаф и тащить по PCIe. Когда верстак забит, можно убрать с него веса эксперта, которым давно не пользовались.
В llama.cpp размер кеша задаётся через --moe-cache-mib в МиБ. После заполнения кеша можно настроить, какая доля промахов будет обсчитываться на CPU прямо из RAM. Кеш рассчитан на небольшие пачки токенов, как при генерации ответа. Для больших пачек движок загружает нужные веса обычным путём. Документация llama.cpp.
Весь фокус в том, как часто модель зовёт одних и тех же экспертов. Чем чаще веса уже под рукой, тем меньше поездок по PCIe. А место на верстаке ограничено. Из тех же 8 ГБ кормятся остальные веса модели, рабочие буферы и KV-кеш. Последний хранит данные механизма внимания для уже обработанных токенов, а у нас на верстаке лежат веса экспертов.
Что вышло с Qwen3‑30B
В общем, с утра занялся делом. Накатил llama.cpp, настроил запуск, пробросил сеть… И задолбался. Потому что там то понос, то опорос. В итоге к вечеру эта тарантайка завелась, но ставить самую свежую llama.cpp уже не было сил, а имеющаяся отваливалась и глючила.
Тем не менее, вот что выдала Qwen3‑30B за эти несколько часов. И вот тут результат уже не такой однозначно-смердячий, как у более слабых моделей.

По этому прогону могу судить об анимации. Был ли кеш экспертов включён в моей сборке и сколько времени он сэкономил, ещё предстоит проверить.
Пожалуй, завтра стоит повторить всё на свежей версии llama.cpp: взять один и тот же GGUF, тот же промпт и одинаковые настройки, а кеш сначала выключить, потом включить. Скорость обработки промпта и скорость генерации запишу отдельно, плюс пик видеопамяти. А качество проверю по старинке: открою оба HTML-файла и нажму пробел. Пока для кодинга у меня впереди облачные нейронки. Ну а зуд, сами понимаете, остался.
Напишите комментарий