Локальный движок ИИ: настройка Ollama и рекомендуемые модели

Что это даёт

Приложение опрашивает локальный движок и сообщает то, что измерило: ответил ли он, его версию, задержку обмена и модели, которые он объявляет, — каждую с её весом на диске, числом параметров и квантованием, если движок их публикует. Выключенный движок возвращается как недоступный с исходным сообщением, и это результат, а не диагноз: он не говорит, виноваты ли ключ, сеть или служба.

Запросы идут через Rust-бэкенд приложения, а не через веб-представление, по двум причинам: политика безопасности содержимого не открывает локальный HTTP-порт из фронтенда, и сетевому взаимодействию там не место.

Поскольку список приходит от движка, модель, которой у вас нет, никогда не появится как выбираемая. Остаётся один вопрос, на который движок ответить не может, — что установить, когда нет ничего; для этого и существует список рекомендаций.

Рекомендуемые модели

Как это настроить

• Установите движок сами — Ollama или LM Studio — и оставьте его работать. Senzoukria никогда не устанавливает движок; она только общается с уже имеющимся.
• Загрузите модель. В списке показана точная команда для вставки, вида ollama pull qwen2.5-coder:7b, а кнопка установки просит уже имеющийся у вас движок скачать её. Ход работы показывается собственными названиями шагов движка, потому что Ollama считает байты по слоям, и процент откатывался бы к нулю на каждом новом слое.
• Рекомендация исчезает из списка, как только модель установлена, — после этого она появляется в настоящем списке установленных моделей.
• Задайте контекстное окно в Настройки → ИИ. Значения по умолчанию в 8k хватает на подсказку ассистента, рыночный контекст и короткий диалог; собственных 4 096 у Ollama для этого мало.

Ограничения и подводные камни

• Локальная модель — бесплатная замена, а не равноценная: она заметно слабее Claude и упустит то, что Claude поймает. Взамен ничто написанное вами не покидает машину.
• Локальные движки получают обычный текст, поэтому скриншоты до них не доходят, что бы модель ни заявляла о своей поддержке.
• Модели-эмбеддеры вроде nomic-embed-text перечисляются Ollama рядом с разговорными, но отвечать не умеют вовсе; в списке они помечены.
• Указанные размеры — это загрузка в квантовании по умолчанию, и нужен сопоставимый объём свободной оперативной памяти: модель на 5 ГБ не работает комфортно при 8 ГБ свободной памяти.
• Рекомендации отдают предпочтение 7B и выше для кода индикаторов, где модели поменьше склонны выдавать правдоподобный код, который не запускается; единственная запись на 3B оставлена для машин, которым больше не удержать.