mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-13 18:28:03 +02:00
Ollama reloaded the chat model mid-message because plan/summary/router calls sent divergent runner options (no num_ctx/num_batch) and omitted keep_alive — the main cause of perceived slowness. - share one keep-alive httpx.AsyncClient for all Ollama calls - unify runner options (runner_options) + keep_alive on every model call, embeddings included - drop the blocking LLM routing fallback (pure lexical heuristic) - run RAG recall + plan + code-model pick in parallel inside the SSE stream, after the start event - RAG cosine scoring off the event loop; cache /api/tags 30s and nvidia-smi 5s; frontend polls 2s->5s, warm poll backoff, dedup config fetch feat: working session menu in TopBar (switch/create/rename/delete) feat: workspace file deletion (DELETE /api/files + UI trash buttons) docs: recommended Ollama env vars (KEEP_ALIVE, MAX_LOADED_MODELS...) Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
139 lines
4.3 KiB
Python
139 lines
4.3 KiB
Python
"""Boosters de qualité pour petits modèles : plan-puis-exécute et auto-critique.
|
|
|
|
- make_plan : décompose une demande complexe en 3-5 étapes courtes. Un petit
|
|
modèle qui suit un plan écrit réussit bien mieux qu'en improvisant.
|
|
- self_review : une passe de critique éclair sur la réponse, puis une révision
|
|
si des défauts sont trouvés (activable : coûte un peu de latence).
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import logging
|
|
import re
|
|
|
|
import httpx
|
|
|
|
from .ollama_client import ollama
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
_PLAN_PROMPT = (
|
|
"Découpe la demande en 3 à 5 étapes courtes et concrètes, une par ligne, "
|
|
"numérotées « 1. », « 2. »… Pas d'introduction, pas de conclusion, "
|
|
"UNIQUEMENT les étapes, en français."
|
|
)
|
|
|
|
_CRITIQUE_PROMPT = (
|
|
"Tu es un relecteur exigeant. Voici une demande et la réponse d'un "
|
|
"assistant. Si la réponse est correcte et complète, réponds exactement "
|
|
"PARFAIT. Sinon, liste au plus 3 défauts concrets (erreurs, oublis, "
|
|
"incohérences), un par ligne."
|
|
)
|
|
|
|
_REVISE_PROMPT = (
|
|
"Réécris la réponse en corrigeant les défauts listés. Donne UNIQUEMENT la "
|
|
"réponse finale corrigée, sans commentaire sur la révision."
|
|
)
|
|
|
|
|
|
def needs_plan(message: str) -> bool:
|
|
"""Une demande assez longue/composée mérite un plan explicite."""
|
|
if len(message) < 120:
|
|
return False
|
|
connectors = len(re.findall(
|
|
r"\b(puis|ensuite|après|avec|ainsi que|et aussi|également)\b",
|
|
message, re.I,
|
|
))
|
|
return len(message) > 240 or connectors >= 2
|
|
|
|
|
|
async def _ask(
|
|
model: str,
|
|
system: str,
|
|
user: str,
|
|
*,
|
|
num_predict: int,
|
|
options: dict | None = None,
|
|
keep_alive: str | None = None,
|
|
) -> str:
|
|
"""Appel court au modèle.
|
|
|
|
``options`` doit contenir les options runner (num_ctx, num_batch…) du chat
|
|
principal : un appel avec des options divergentes force Ollama à recharger
|
|
le modèle en plein message.
|
|
"""
|
|
text = ""
|
|
async for chunk in ollama.chat(
|
|
model,
|
|
[{"role": "system", "content": system},
|
|
{"role": "user", "content": user}],
|
|
options={**(options or {}), "temperature": 0.2, "num_predict": num_predict},
|
|
keep_alive=keep_alive,
|
|
stream=True,
|
|
):
|
|
text += chunk.get("message", {}).get("content", "")
|
|
if chunk.get("done"):
|
|
break
|
|
return text.strip()
|
|
|
|
|
|
async def make_plan(
|
|
model: str,
|
|
message: str,
|
|
*,
|
|
options: dict | None = None,
|
|
keep_alive: str | None = None,
|
|
) -> list[str]:
|
|
"""Renvoie la liste des étapes (vide si échec — jamais bloquant)."""
|
|
try:
|
|
raw = await _ask(
|
|
model, _PLAN_PROMPT, message[:1200], num_predict=220,
|
|
options=options, keep_alive=keep_alive,
|
|
)
|
|
except (httpx.HTTPError, OSError) as exc:
|
|
logger.warning("Plan impossible : %s", exc)
|
|
return []
|
|
steps = []
|
|
for line in raw.splitlines():
|
|
line = line.strip()
|
|
m = re.match(r"^\d+[.)]\s*(.+)$", line)
|
|
if m:
|
|
steps.append(m.group(1).strip())
|
|
return steps[:5] if len(steps) >= 2 else []
|
|
|
|
|
|
async def self_review(
|
|
model: str,
|
|
request: str,
|
|
answer: str,
|
|
*,
|
|
options: dict | None = None,
|
|
keep_alive: str | None = None,
|
|
) -> str | None:
|
|
"""Critique puis révise la réponse. None si rien à corriger / échec."""
|
|
if len(answer) < 80:
|
|
return None
|
|
try:
|
|
critique = await _ask(
|
|
model,
|
|
_CRITIQUE_PROMPT,
|
|
f"Demande :\n{request[:800]}\n\nRéponse :\n{answer[:2500]}",
|
|
num_predict=180,
|
|
options=options, keep_alive=keep_alive,
|
|
)
|
|
if not critique or "PARFAIT" in critique.upper()[:40]:
|
|
return None
|
|
|
|
revised = await _ask(
|
|
model,
|
|
_REVISE_PROMPT,
|
|
f"Demande :\n{request[:800]}\n\nRéponse initiale :\n{answer[:2500]}"
|
|
f"\n\nDéfauts :\n{critique[:600]}",
|
|
num_predict=1500,
|
|
options=options, keep_alive=keep_alive,
|
|
)
|
|
# Garde-fou : une révision vide ou minuscule ne remplace rien.
|
|
return revised if len(revised) > len(answer) // 3 else None
|
|
except (httpx.HTTPError, OSError) as exc:
|
|
logger.warning("Auto-critique impossible : %s", exc)
|
|
return None
|