#performance

Gemma local était trop lent avec AIdaemon jusqu'à ce que je corrige llama.cpp et la taille du prompt

Je voulais AIdaemon sur Gemma 4 26B local via llama.cpp, pas Ollama. La génération tournait à ~45 tok/s sur un M4 Pro. Les tours d'agent semblaient toujours bloqués car le préremplissage sur des prompts de 14k tokens prenait 8 à 9 secondes avant que le modèle n'écrive un seul mot.