#Llm

Lokale Gemma was te traag met AIdaemon totdat ik llama.cpp en de promptgrootte heb aangepast

Ik wilde AIdaemon op lokale Gemma 4 26B via llama.cpp, niet Ollama. Generatie draaide op ~45 tok/s op een M4 Pro. Agent-beurten voelden nog steeds vastgelopen omdat prefill op 14k-token prompts 8 tot 9 seconden duurde voordat het model een enkel woord schreef.