Trois choses manquaient au tour tenu par la façade, actives même sans
clé opt-in, et qu'il fallait avant d'en faire le défaut :
- la télémétrie de chaque complétion (perfRecord) : /api/perf/summary et
l'alerte « cache perdu » posée sur les stats finales d'une étape. La
boucle Rust la remet au Go (/internal/v1/turn/perf) au même moment que
la boucle Go, avec ses empreintes de messages ; le Go range, calcule la
perte et rend nature, jetons perdus et alerte, posés sur la copie finale
des stats ;
- la sonde du gabarit, lancée dans les mêmes conditions (requête de forme
normale du moteur local) ;
- le comptage des requêtes en vol : chaque requête au moteur local ouvre
un ticket (/internal/v1/oai/begin), marqué servi à la réponse 200
(engineServed, engineMarkMain pour une étape de la discussion), rendu en
fin de lecture du flux. Le slot de la discussion n'est ainsi ni effacé
pendant une requête ni pris pour un autre.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
La façade Rust va relayer /v1 directement au moteur. Les décisions restent
ici, parce qu'elles dépendent de l'état de la conversation que ce process
tient en mémoire : route (port, Strata, clé des complétions, second slot
en service), begin (requête « en vol » : le slot de la discussion n'est
pas effacé pendant ce temps, préchauffage annulé si besoin ; refus pendant
un benchmark ou une optimisation ; trace de perte de cache), end.
Mêmes étapes, même ordre qu'oaiHandler. Un ticket jamais rendu (façade
tuée en plein flux) expire au bout de six heures, sans quoi le compteur
de requêtes en vol resterait bloqué.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
MichaelandClaude Opus 5.5