#llm

Lokales Gemma war zu langsam mit AIdaemon, bis ich llama.cpp und die Prompt-Größe optimierte

Ich wollte AIdaemon auf lokalem Gemma 4 26B über llama.cpp, nicht Ollama. Die Generierung lief mit ~45 tok/s auf einem M4 Pro. Agenten-Turns fühlten sich immer noch träge an, da das Prefill bei 14k-Token-Prompts 8 bis 9 Sekunden dauerte, bevor das Modell ein einziges Wort schrieb.