#local-llm

3 artículos con la etiqueta local-llm.

Encontrado 3 publicaciones

2026-06-18

Mi agente seguía perdiendo hechos que ya había guardado

AIdaemon podía guardar un hecho y luego no encontrarlo cuando se lo preguntaba. La búsqueda semántica clasifica por tema, por lo que el hecho corto que contiene la respuesta real queda enterrado bajo otros más extensos cercanos. Un reranker lee cada candidato en relación con la pregunta y vuelve a colocar el correcto en la cima.

aisoftware-developmentopen-source

2026-06-08

13 min read

Gemma local era demasiado lento con AIdaemon hasta que arreglé llama.cpp y el tamaño del prompt

Quería AIdaemon en Gemma 4 26B local a través de llama.cpp, no Ollama. La generación se ejecutaba a ~45 tok/s en un M4 Pro. Los turnos del agente aún se sentían atascados porque el prefill en prompts de 14k tokens tardaba de 8 a 9 segundos antes de que el modelo escribiera una sola palabra.

aisoftware-development+1

2025-11-01

9 min read

¿Cómo ejecutar LLMs (IA) de código abierto en tu ordenador?

Aprende a ejecutar modelos de IA (LLM) de código abierto directamente en tu ordenador. Sin nube, sin suscripciones, privacidad total. Una guía para principiantes usando llama.cpp.

AITutorial+1

Recibe las últimas publicaciones e ideas directamente en tu bandeja de entrada.

Sin spam. Puedes cancelar cuando quieras.

Archivo

#local-llm

Mi agente seguía perdiendo hechos que ya había guardado

Gemma local era demasiado lento con AIdaemon hasta que arreglé llama.cpp y el tamaño del prompt

¿Cómo ejecutar LLMs (IA) de código abierto en tu ordenador?

Mantente Actualizado