#local-llm

3 статей с тегом local-llm.

Найдено 3 постов

2026-06-18

Мой агент постоянно терял сохраненные факты

AIdaemon мог сохранить факт, а затем не найти его, когда я его спрашивал. Семантический поиск ранжирует по теме, поэтому короткий факт с правильным ответом теряется среди более объемных рядом. Ранжировщик (reranker) сравнивает каждый кандидат с вопросом и возвращает нужный наверх.

aisoftware-developmentopen-source

2026-06-08

13 min read

Локальная Gemma была слишком медленной с AIdaemon, пока я не исправил llama.cpp и размер промпта

Я хотел использовать AIdaemon с локальной Gemma 4 26B через llama.cpp, а не Ollama. Генерация работала со скоростью ~45 токенов/с на M4 Pro. Взаимодействие с агентом всё ещё казалось заторможенным, потому что предварительное заполнение промптов размером 14k токенов занимало от 8 до 9 секунд, прежде чем модель написала хотя бы одно слово.

aisoftware-development+1

2025-11-01

9 min read

Как запустить открытые LLM (ИИ) на вашем компьютере?

Узнайте, как запускать открытые модели ИИ (LLM) прямо на вашем компьютере. Никаких облаков, никаких подписок, полная конфиденциальность. Руководство для начинающих с использованием llama.cpp.

AITutorial+1

Получайте последние посты и аналитику на вашу почту.

Без спама. Отписаться можно в любое время.

Архив

#local-llm

Мой агент постоянно терял сохраненные факты

Локальная Gemma была слишком медленной с AIdaemon, пока я не исправил llama.cpp и размер промпта

Как запустить открытые LLM (ИИ) на вашем компьютере?

Будьте в курсе