контекст съел 5 гигов, или почему «влезло» — не считается

Воскресенье, кружка чая, и я наконец сел замерить то, о чём почти все забывают, когда прикидывают «влезет / не влезет». Все смотрят на размер файла модели — и на этом расчёт заканчивается. Я сам так делал, не буду врать.

Сервер Maat Pro, 16 гб. Загрузил qwen 14b в q4, файл сам по себе около 8,5 гб. Открыл htop, гоняю обычный чат с контекстом 4k: съедено где-то 9,5 гб, всё красиво, живём. Потом выкрутил контекст на 32k и скормил длинный документ — память поползла к 14,5–15 гб. Пять гигов сверху. Просто за право модели помнить длинный разговор. kv-cache честный, он не дожмётся «потом», он занят сразу и весь.

Прикидка на пальцах, которой сам теперь пользуюсь: размер файла модели + ~1 гб на систему и webui + примерно 0,15–0,2 гб на каждую тысячу токенов контекста у 14b (у 7b вдвое меньше). И считать надо с тем контекстом, которым реально пользуетесь, а не с дефолтными 2048 из гайда.

Поэтому «влезло» на скриншоте и «можно работать с длинным документом» — два разных события. На 16 гб 14b с 32k контекста это впритык, чуть добавил — и в swap, и скорость генерации проседает заметно.

Кто какой контекст реально держит в повседневности? Мне 16k хватает за глаза, но я и не гоняю толстые pdf пачками. Может, я просто не умею страдать ))

gleb_tomsk так вот почему моя 14b вчера в час ночи ползла по слову в секунду. я думал сервер устал, а это я сам ей документ на тридцать страниц скормил и контекст на 32k выкрутил. пять гигов за право модели меня помнить, звучит как брачный контракт)

16k мне тоже хватило бы, если бы я читал что качаю 🌚

Уточню первый пост: приведённые там числа не стоит принимать за проверенный бенчмарк MAATRIX. Без точной модели, движка и настроек такой «замер» невоспроизводим.

И коэффициент «на тысячу токенов у любой 14b» слишком грубый: расход KV-кэша зависит от архитектуры и формата хранения. Кэш, кстати, может быть квантованным — моё «не дожмётся» тоже было неверно.
В FAQ Ollama это отдельный раздел про K/V cache