Files
Loki/internal/loki/code_verify_gate_test.go
T
MichaelandClaude Opus 5.5 7b754c0cb6 Mode Code : vérifier quand le builder a fini, jamais pendant une question
Repris du buildAgentNudge d'OpenFox (2.0.133).

La passe de vérification partait à chaque fin de tour de build, y compris
quand Qwen s'arrêtait sur « ensuite je vais… » ou venait de poser une
question avec ask. Chaque passe inutile coûte un prefill complet, évince
le cache KV du fil, et produit des « failed » qui ne disent que « pas
encore fait » — en courant par-dessus la question restée sans réponse.

- Nouveau statut « completed » : le builder marque un critère fait une
  fois vérifié par lui-même. Seule la vérification marque passed/failed.
- Fin de tour avec des critères encore ouverts : le builder est relancé
  sur ces critères (deux fois au plus) avant toute vérification.
- Fin de tour sur une question (ask) : pas de vérification, ni de
  correction, avant la réponse de l'utilisateur ; idem si le builder pose
  une question pendant une correction.
- Un id de critère écrit entre guillemets (« "2" », « "#2" ») vise bien
  le bon critère au lieu de #0.
- Le panneau des critères montre « completed » (◐).
- Test de non-régression de la passe de vérification (code_verify_test.go).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-02 23:30:00 +02:00

111 lines
4.0 KiB
Go

package loki
import (
"context"
"encoding/json"
"net/http"
"net/http/httptest"
"net/url"
"strings"
"sync"
"testing"
)
// moteurScripte : faux llama-server qui répond selon le DERNIER message reçu.
// Un message `tool` en queue → texte de clôture ; sinon la règle dont le motif
// figure dans le dernier message utilisateur → appel d'outil criteria.
func moteurScripte(t *testing.T, regles map[string]string) (port string, vus *[]string) {
t.Helper()
var mu sync.Mutex
var log []string
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
var body struct {
Messages []Message `json:"messages"`
}
_ = json.NewDecoder(r.Body).Decode(&body)
last := body.Messages[len(body.Messages)-1]
w.Header().Set("Content-Type", "text/event-stream")
w.WriteHeader(200)
args := ""
if last.Role == "user" {
txt := msgText(last)
mu.Lock()
log = append(log, txt)
mu.Unlock()
for motif, a := range regles {
if strings.Contains(txt, motif) {
args = a
}
}
}
if args != "" {
esc := strings.ReplaceAll(args, `"`, `\"`)
_, _ = w.Write([]byte(`data: {"choices":[{"delta":{"tool_calls":[{"index":0,"id":"c1","type":"function","function":{"name":"criteria","arguments":"` + esc + `"}}]},"finish_reason":null}]}` + "\n\n"))
_, _ = w.Write([]byte(`data: {"choices":[{"delta":{},"finish_reason":"tool_calls"}]}` + "\n\n"))
} else {
_, _ = w.Write([]byte(sseChunk("ok")))
_, _ = w.Write([]byte(`data: {"choices":[{"delta":{},"finish_reason":"stop"}]}` + "\n\n"))
}
_, _ = w.Write([]byte("data: [DONE]\n\n"))
}))
t.Cleanup(srv.Close)
u, _ := url.Parse(srv.URL)
return u.Port(), &log
}
// Le builder rend la main avec un critère encore ouvert : on le RELANCE (il le
// marque completed) avant de vérifier, au lieu de vérifier un travail
// inachevé (repris du buildAgentNudge d'OpenFox).
func TestVerificationAttendQueLeBuilderAitFini(t *testing.T) {
withWorkspace(t)
id := convEnsureActive()
toolCriteria(map[string]any{"action": "add", "texts": []any{"le build compile"}}, false)
port, vus := moteurScripte(t, map[string]string{
"Not done yet": `{"action":"set","id":"1","status":"completed"}`,
"Verify each non-pass": `{"action":"set","id":1,"status":"passed"}`,
})
if err := SetConfigKey("PORT", port); err != nil {
t.Fatal(err)
}
c := newTestConv()
c.Messages = []Message{{Role: "user", Content: "fais le build"}}
c.codeVerifyLoop(context.Background(), Caps{Agent: true, Code: true}, 0.2, c.epoch, false)
if len(*vus) < 2 || !strings.Contains((*vus)[0], "Not done yet") || !strings.Contains((*vus)[1], "Verify each non-pass") {
t.Fatalf("ordre des passes = %q, attendu relance du builder PUIS vérification", *vus)
}
if l := critList(id); len(l) != 1 || l[0].Status != "passed" {
t.Fatalf("critère final : %+v", l)
}
}
// Tour terminé sur une question à l'utilisateur : aucune passe ne part avant
// sa réponse.
func TestPasDeVerificationApresUneQuestion(t *testing.T) {
withWorkspace(t)
toolCriteria(map[string]any{"action": "add", "texts": []any{"le build compile"}}, false)
port, vus := moteurScripte(t, nil)
if err := SetConfigKey("PORT", port); err != nil {
t.Fatal(err)
}
c := newTestConv()
c.Messages = []Message{{Role: "user", Content: "fais le build"}}
c.codeVerifyLoop(context.Background(), Caps{Agent: true, Code: true}, 0.2, c.epoch, true)
if len(*vus) != 0 {
t.Fatalf("%d requête(s) au moteur alors qu'une question attend l'utilisateur", len(*vus))
}
}
// Un id de critère écrit entre guillemets (« "2" », « "#2" ») vise bien #2.
func TestCritereIdEnChaine(t *testing.T) {
withWorkspace(t)
id := convEnsureActive()
toolCriteria(map[string]any{"action": "add", "texts": []any{"a", "b"}}, false)
if out := toolCriteria(map[string]any{"action": "set", "id": "#2", "status": "completed"}, false); !strings.HasPrefix(out, "[ok]") {
t.Fatalf("id en chaîne refusé : %s", out)
}
if l := critList(id); l[1].Status != "completed" || l[0].Status != "pending" {
t.Fatalf("mauvais critère modifié : %+v", l)
}
}