Огромная нейросеть на ноутбуке без видеокарты: colibri по шагам

Открытый проект colibri запускает огромные нейросети на обычном компьютере без видеокарты: в памяти держится только та часть модели, которая думает над текущим словом, остальное читается с диска по мере надобности. Ниже что это даёт на деле, какую модель ставить под твой ноутбук, установка по шагам и как подключить к нему свои программы.

Внутри: как это работает, какую модель выбрать под объём памяти, честные скорости, установка на Windows, Mac и Linux, подключение своих программ.

Как это работает

Данные из описания проекта на GitHub, 16 октября 2026.

  • Большие современные модели устроены как набор экспертов: на каждое слово работает только малая часть.
  • colibri держит в оперативной памяти постоянную часть, а нужных экспертов читает с диска, как стрим вместо загрузки целого фильма.
  • Написан на чистом C, видеокарта необязательна, работает без интернета после загрузки модели.
  • У проекта больше 42 тысяч звёзд на GitHub.
Проект colibri на GitHub

Какую модель ставить: честно про скорость

Модель на 744 миллиарда параметров (GLM-5.2) правда запускается на ноутбуке с 25 ГБ памяти, но отвечает очень медленно: по замеру автора 0,05-0,1 слова в секунду. Это демонстрация, для работы бери модель поменьше.

  • 16-20 ГБ памяти: Qwen3.6-35B, загрузка 23 ГБ, около 6 токенов в секунду на процессоре. Это рабочий вариант для чата и текстов.
  • 8-18 ГБ памяти и задачи с кодом: Qwen3-Coder-30B, загрузка 19 ГБ.
  • 32 ГБ памяти и быстрый SSD: DeepSeek V4 Flash, загрузка 167 ГБ, около 1 токена в секунду.
  • Посмотреть все модели против своего компьютера: команда ./start-here.sh --list.

Установка по шагам

Минимум 8 ГБ оперативной памяти и 22 ГБ на диске для самой маленькой модели.

Windows

  1. На странице проекта нажми Code, затем Download ZIP, распакуй архив.
  2. Дважды щёлкни START-HERE.bat. Если нет Python, установщик предложит поставить его сам.

Mac

Команды в Терминале
xcode-select --install brew install libomp git python git clone https://github.com/JustVugg/colibri cd colibri ./start-here.sh

Linux

Команды
sudo apt install git python3 build-essential git clone https://github.com/JustVugg/colibri cd colibri ./start-here.sh
Установщик сам посмотрит память и диск, предложит подходящую модель, скачает её с докачкой и откроет чат в браузере. В следующий раз тот же файл запускает всё сразу, без загрузки.

Подключить свои программы

После запуска colibri печатает адреса, которые понимают программы для OpenAI и Claude.

  • Чат в браузере: http://127.0.0.1:8000/
  • Адрес для программ под OpenAI: http://127.0.0.1:8000/v1
  • Адрес для программ под Claude: http://127.0.0.1:8000
В своей программе меняешь одну строку, адрес сервера, и она работает с локальной моделью без оплаты за токены и без интернета.

Читать дальше в блоге

Эту тему я разбираю подробно в статье рабочий список нейросетей для контента. Там же лежат остальные разборы про нейросети.

Следующий шаг
Хочешь так же, но под свой блог и продукт?

Я собрал систему, по которой обычный человек запускает блог с нуля и набирает аудиторию без съёмок, монтажа и команды. Внутри разбор, с которого стартовал сам.

Открыть разбор: с чего начать→