#self-hosted

Локальная Gemma была слишком медленной с AIdaemon, пока я не исправил llama.cpp и размер промпта

Я хотел использовать AIdaemon с локальной Gemma 4 26B через llama.cpp, а не Ollama. Генерация работала со скоростью ~45 токенов/с на M4 Pro. Взаимодействие с агентом всё ещё казалось заторможенным, потому что предварительное заполнение промптов размером 14k токенов занимало от 8 до 9 секунд, прежде чем модель написала хотя бы одно слово.