Slots : corrections de relecture du lot 2 — une lecture d'un client ne prend plus le slot

Les proxys de Loki (/v1 et le relais) comptaient TOUTE requête d'un client
comme une requête qui passe par le slot : un GET /v1/models ou une sonde
/health (Open WebUI en envoie régulièrement) annulait le préchauffage en vol
et retirait le tampon de la discussion. Avec PREWARM, COMPACT_CONTINUATION ou
SLOT_PERSIST, la clé devenait inopérante dès qu'un client sondait le moteur.

- engineProxyBegin : une lecture (GET, HEAD) reste comptée en vol, comme
  avant, mais n'avance pas le numéro des requêtes et garde le préchauffage ;
  une complétion de client garde le comportement d'avant.
- README : avec PREWARM, SLOT_PERSIST ne garde presque rien (le préchauffage
  passe par le slot après chaque tour) — dit plutôt que découvert.

Sans aucune de ces clés, rien ne change.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
MichaelandClaude Opus 5.5 committed 2026-10-04 12:26:42 +02:00
1 parent a94c752529
commit f0d5711a1a
5 files changed
+65 -4

No files matched your search

+1 -2
View File
@@ -530,8 +530,7 @@ func newLinkHandler(mux *http.ServeMux) http.Handler {
http.Error(w, msg, status)
return
}
end, _ := engineRequestBeginSide(nil, side) // voir oaiHandler
defer end()
defer engineProxyBegin(r, side)() // voir oaiHandler
lp.ServeHTTP(w, r)
return
}