Slots : corrections de relecture du lot 2 — une lecture d'un client ne prend plus le slot

Les proxys de Loki (/v1 et le relais) comptaient TOUTE requête d'un client
comme une requête qui passe par le slot : un GET /v1/models ou une sonde
/health (Open WebUI en envoie régulièrement) annulait le préchauffage en vol
et retirait le tampon de la discussion. Avec PREWARM, COMPACT_CONTINUATION ou
SLOT_PERSIST, la clé devenait inopérante dès qu'un client sondait le moteur.

- engineProxyBegin : une lecture (GET, HEAD) reste comptée en vol, comme
  avant, mais n'avance pas le numéro des requêtes et garde le préchauffage ;
  une complétion de client garde le comportement d'avant.
- README : avec PREWARM, SLOT_PERSIST ne garde presque rien (le préchauffage
  passe par le slot après chaque tour) — dit plutôt que découvert.

Sans aucune de ces clés, rien ne change.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
MichaelandClaude Opus 5.5 committed 2026-10-04 12:26:42 +02:00
1 parent a94c752529
commit f0d5711a1a
5 files changed
+65 -4

No files matched your search

+3
View File
@@ -531,6 +531,9 @@ Ajoutées par ce fork :
exactement les jetons gardés (gabarit qui rend le dernier tour à
l'identique), sinon recalcul comme avant. Ce que voit le modèle ne change
pas : llama.cpp ne reprend un état que sur un préfixe de jetons identique.
Avec `PREWARM`, le préchauffage passe par le slot après chaque tour : une
bascule faite ensuite ne garde rien (les deux clés se recouvrent peu). Une
simple lecture d'un client (`/v1/models`, `/health`) ne compte pas.
- **Spéculation par n-grammes** (clé `SPEC`, valeurs `ngram` et `mtp+ngram`,
**off** par défaut, `loki config set SPEC ngram`, moteur relancé) : en mode
Code, le modèle recopie sans cesse ce qui est déjà dans le contexte (chemins,