llama.cpp: скачать, запуск на Windows и локальный сервер

Что такое llama.cpp

llama.cpp — открытый движок вывода: он берёт файл модели и считает ответы. Всё, что вы видите в настольных программах для локальных нейросетей — окно чата, список моделей, ползунки — надстройка. Считает под капотом такой движок.

Проект написан на C и C++ без внешних зависимостей и с прицелом на то, чтобы работать на чём угодно: от макбука до сервера с несколькими видеокартами. Лицензия MIT, на 19 августа 2026 года у репозитория 124 664 звезды и 21 903 форка. Обновляется он почти ежедневно: сборка b10488 выпущена 18 августа.

Что стоит знать про этот проект, даже если вы не собираетесь трогать командную строку:

• Формат GGUF родом отсюда. Файлы моделей с расширением .gguf, которые вы качаете для настольных запускалок, придуманы в этом же семействе проектов: GGUF расшифровывается как GGML Universal File, а спецификация лежит в соседнем репозитории ggml.
• Модель может не помещаться в видеопамять целиком. Движок умеет считать часть слоёв на видеокарте, а остаток — на процессоре. Медленнее, но работает.
• Квантование от 1,5 до 8 бит. Именно оно уменьшает файл модели в несколько раз и позволяет запустить на бытовой видеокарте то, что в исходном виде в неё не помещается.

Как поставить: четыре способа

Собирать из исходников не нужно — готовые сборки лежат в открытом доступе.

1. Официальный установщик. На сайте проекта одна команда: curl -LsSf https://llama.app/install.sh | sh
2. Пакетный менеджер. Способ, при котором обновления приходят сами: winget install llama.cpp на Windows, brew install llama.cpp на macOS и Linux, sudo port install llama.cpp в MacPorts, conda install -c conda-forge llama.cpp в conda.
3. Готовые бинарники. На странице релизов лежат архивы под каждую систему и каждый тип ускорителя. Распаковали — запустили, установка не требуется.
4. Docker. Официальные образы публикуются в реестре GitHub, включая вариант с сервером и поддержкой видеокарт NVIDIA.

Первый запуск и загрузка модели

Отдельно искать и качать файл модели не нужно: движок умеет тянуть её прямо с Hugging Face по имени репозитория. Пример из документации проекта: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

Что происходит по этой команде: модель скачивается в локальный кеш, загружается в память и открывается диалог в терминале.

Полезные детали загрузки:

• Квантование выбирается суффиксом. Запись -hf автор/модель:Q4_K_M указывает нужный файл. Если суффикс не указан, движок берёт Q4_K_M, а когда такого файла в репозитории нет — первый попавшийся.
• Закрытые модели требуют токена. Для репозиториев, где автор просит принять лицензию, передаётся токен Hugging Face. Как их получают, разобрано в статье про Hugging Face.
• Список скачанного показывается флагом -cl, а флаг --offline заставляет работать только с тем, что уже лежит в кеше, и не ходить в сеть.

Локальный сервер и веб-интерфейс

Главная причина ставить llama.cpp — режим сервера: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

По умолчанию он слушает адрес 127.0.0.1 и порт 8080, то есть доступен только с вашего же компьютера. Вместе с ним поднимается встроенный веб-интерфейс: открыли http://localhost:8080 в браузере — получили чат, без установки отдельной программы. Отключается он флагом --no-webui.

Что сервер умеет, кроме чата:

Режим маршрутизатора стоит отметить отдельно: сервер стартует пустым, ему указывают папку с моделями, и дальше он сам поднимает и выгружает нужную модель под конкретный запрос. Для домашней машины, где несколько моделей под разные задачи, это удобнее, чем перезапускать процесс руками.

Куда подключить свой сервер

Раз адрес совместим с OpenAI, подключается он туда же, куда обычно вписывают чужой ключ:

• адрес: http://localhost:8080/v1
• ключ: любой непустой, если вы не включали --api-key
• модель: та, что загружена в сервер

Так работают почти все настольные ИИ-клиенты, расширения редакторов и самописные скрипты. Практическая польза от этого — переключаемость: один и тот же клиент сегодня ходит в локальную модель, завтра в облачную, и меняется одна строка в настройках. Как выглядит облачная сторона такой связки, разобрано в статье про OpenRouter.

Видеокарта, слои и квантование

Три параметра, которые решают, запустится ли модель и с какой скоростью.

Слои на видеокарте. Флаг -ngl говорит, сколько слоёв модели держать в видеопамяти. По умолчанию стоит режим auto, значение all требует разместить всё. Если модель не помещается целиком, часть слоёв остаётся на процессоре: скорость падает, но запуск состоится.

Размер контекста. Флаг -c задаёт, сколько токенов модель держит в памяти разговора. Значение по умолчанию берётся из самой модели. Контекст занимает видеопамять отдельно от весов, и на длинных диалогах именно он чаще всего приводит к нехватке памяти.

Квантование. Чем ниже разрядность, тем меньше файл и тем быстрее счёт, но тем заметнее потери в качестве. Практический ориентир — Q4_K_M: та самая середина, которую движок и берёт по умолчанию. Как читаются остальные метки и сколько весит одна и та же модель в каждом варианте — в статье про формат GGUF. Полный расклад «какая видеокарта какую модель тянет» посчитан в статье про локальные нейросети.

Какую сборку скачивать

На странице релизов лежит полтора десятка архивов, и разница между ними — в ускорителе, а не в возможностях.

Правило выбора простое: под NVIDIA берут сборку с CUDA, под AMD — с ROCm, под встроенную графику и в спорных случаях — Vulkan, он работает почти везде. Для Intel есть отдельная сборка на SYCL, для Apple ускорение через Metal уже внутри.

llama.cpp или LM Studio

Эти два инструмента решают одну задачу разными способами, и выбирать между ними имеет смысл по сценарию, а не по «продвинутости».

Практический вывод: начинать удобнее с LM Studio, а к llama.cpp приходят, когда нужен сервер, который стартует вместе с системой, живёт без графики и слушается флагов. Третий сосед в этом ряду — Ollama, у неё своя логика работы с моделями; разбор есть в гайде на портале ИИ-офиса.

Что чаще всего идёт не так

Модель не влезает в память

Симптом — процесс падает при загрузке или система начинает свопить. Лечится меньшим квантованием, меньшим контекстом или явным ограничением числа слоёв на видеокарте.

Скачали сборку не под своё железо

Архив с CUDA на компьютере без видеокарты NVIDIA запустится на процессоре или не запустится вовсе. Для сборок с CUDA нужен ещё и архив с библиотеками cudart, если их нет в системе.

Команда не находится

После распаковки архива бинарники лежат в папке и в системный путь не прописываются. Либо запускайте из этой папки, либо ставьте через пакетный менеджер.

Сервер не виден с другого устройства

Так и задумано: по умолчанию он слушает 127.0.0.1. Чтобы открыть его в локальной сети, адрес прослушивания меняют флагом --host, и тогда стоит включить --api-key.

Ответы приходят обрывками или странного вида

Обычно причина в шаблоне диалога: движок берёт его из метаданных модели, но у нестандартных сборок шаблон бывает битым. Он задаётся вручную, флагом с указанием нужного шаблона.

Частые вопросы