mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-23 23:18:13 +02:00
Contexte : fini le 400 « dépasse la fenêtre » qui bloquait la discussion
Repris d'AJEAN 0.17.5. Sur une fenêtre de 65k, un tour qui lit plusieurs gros fichiers d'un coup passait de 60 % à plus de 130 % sans jamais compacter, et l'erreur remontait telle quelle. - Le test de compactage en cours de tour compte aussi les résultats d'outils de l'étape, que le moteur n'a pas encore vus. Sans usage côté serveur, l'estimation porte toujours sur tout l'historique. - Tout résultat d'outil est borné à 30 000 caractères dans la vue du modèle, avec une mention qui l'invite à cibler. L'interface garde le résultat complet (« voir plus »). - Dernier recours quand le moteur refuse encore le prompt et que le compactage n'a rien pu faire : shrinkToFit tronque les gros résultats d'outils puis retire les plus vieux échanges, vers 60 % de la fenêtre corrigés par la taille réelle lue dans l'erreur. Deux essais au plus. - Tâches planifiées : la note de tâche passe en tête du message utilisateur au lieu du système. Le préfixe reste celui du chat et le cache de prompt de llama-server sert aux deux (l'amont mesurait 12 s de recalcul pour un « salut » après une tâche). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
199d7f1e99
commit
8171899ac1
4 files changed
+170
-15
No files matched your search
@@ -8,6 +8,7 @@ import (
|
||||
"io"
|
||||
"net/http"
|
||||
"os"
|
||||
"regexp"
|
||||
"strconv"
|
||||
"strings"
|
||||
)
|
||||
@@ -686,3 +687,88 @@ func contextOverflow(msg string, msgs []Message) bool {
|
||||
}
|
||||
return estimateTokens(msgs) >= int(float64(ctxWindow())*0.9)
|
||||
}
|
||||
|
||||
// ---- dernier recours : la requête ne rentre toujours pas -------------------
|
||||
// Repris d'AJEAN 0.17.5.
|
||||
|
||||
var reqTokensRe = regexp.MustCompile(`request \((\d+) tokens\)`)
|
||||
|
||||
// overflowTokens extrait la taille réelle de la requête refusée par llama.cpp
|
||||
// (« request (132291 tokens) exceeds… »), 0 si absente.
|
||||
func overflowTokens(msg string) int {
|
||||
if m := reqTokensRe.FindStringSubmatch(msg); m != nil {
|
||||
n, _ := strconv.Atoi(m[1])
|
||||
return n
|
||||
}
|
||||
return 0
|
||||
}
|
||||
|
||||
const shrinkTruncMarker = "\n[…tronqué : contexte plein. Relance l'outil de façon plus ciblée si tu as besoin de la suite]"
|
||||
|
||||
// shrinkToFit est le filet quand le moteur a refusé le prompt ET que le
|
||||
// compactage n'a rien pu faire (torse vide, ou réduction jugée trop faible :
|
||||
// typiquement un tour qui a lu beaucoup de gros fichiers d'un coup, tout est
|
||||
// dans la queue protégée). Avant, l'erreur 400 remontait telle quelle et la
|
||||
// conversation restait bloquée. Ici on réduit pour de bon :
|
||||
// 1. les gros résultats d'outils (du plus ancien au plus récent) sont tronqués ;
|
||||
// 2. si ça ne suffit pas, on retire les plus vieux échanges, par tour entier
|
||||
// (frontière `user`), en gardant les messages système de tête.
|
||||
//
|
||||
// La cible vise 60 % de la fenêtre, corrigée par l'écart entre estimation et
|
||||
// taille réelle (actual, lue dans l'erreur) : l'estimation sous-compte (images…).
|
||||
func shrinkToFit(msgs []Message, actual int) ([]Message, bool) {
|
||||
est := estimateTokens(msgs)
|
||||
if est <= 0 {
|
||||
return msgs, false
|
||||
}
|
||||
ratio := 1.0
|
||||
if actual > est {
|
||||
ratio = float64(actual) / float64(est)
|
||||
}
|
||||
target := int(float64(ctxWindow()) * 0.6 / ratio)
|
||||
out := append([]Message(nil), msgs...)
|
||||
for i := range out {
|
||||
if estimateTokens(out) <= target {
|
||||
break
|
||||
}
|
||||
if out[i].Role != "tool" {
|
||||
continue
|
||||
}
|
||||
if r := []rune(msgText(out[i])); len(r) > 2000 {
|
||||
out[i].Content = string(r[:1500]) + shrinkTruncMarker
|
||||
}
|
||||
}
|
||||
head := 0
|
||||
for head < len(out) && out[head].Role == "system" {
|
||||
head++
|
||||
}
|
||||
for estimateTokens(out) > target {
|
||||
next := -1
|
||||
for k := head + 1; k < len(out); k++ {
|
||||
if out[k].Role == "user" {
|
||||
next = k
|
||||
break
|
||||
}
|
||||
}
|
||||
if next < 0 {
|
||||
break
|
||||
}
|
||||
out = append(out[:head:head], out[next:]...)
|
||||
}
|
||||
return out, estimateTokens(out) < est
|
||||
}
|
||||
|
||||
// toolResultMax borne TOUT résultat d'outil dans la vue du modèle (≈ 8k
|
||||
// tokens). Le terminal et le web ont déjà leur propre plafond, plus bas ;
|
||||
// celui-ci rattrape les autres (lecture de fichier, pages mémoire, MCP…) : un
|
||||
// seul résultat géant suffisait à faire déborder une fenêtre de 65k d'un coup,
|
||||
// sans que le compactage puisse rien y faire. L'UI, elle, garde le résultat
|
||||
// complet (« voir plus », tool_results.go).
|
||||
const toolResultMax = 30000
|
||||
|
||||
func capToolResult(s string) string {
|
||||
if r := []rune(s); len(r) > toolResultMax {
|
||||
return string(r[:toolResultMax]) + "\n[…tronqué : résultat trop long. Cible une partie plus précise si tu as besoin de la suite]"
|
||||
}
|
||||
return s
|
||||
}
|
||||
Reference in new issue
Block a user