Files
Loki/internal/loki/chat_vision_tool_test.go
T
Claude b5904907e8 Reprise réseau, presets externes, see_image
Trois apports repérés chez AJEAN (v0.13.8) et OpenFox (2.0.118), portés et
adaptés à Loki.

## Reprise réseau du tour (llm_retry_net.go)

La requête de complétion partait une fois : un Do() qui échoue ou un statut
d'erreur tuait le tour. Les messages d'erreur le disaient eux-mêmes —
« réessaie dans quelques secondes » — autrement dit on demandait à
l'utilisateur de refaire à la main ce que le code pouvait faire seul. Une
tâche planifiée tombée pendant un redémarrage du moteur échouait pour de
bon, sans personne pour recliquer.

Trois reprises consécutives, 0,8 → 1,6 → 3,2 s, plafonnées, interruptibles
par un /stop. La règle de sûreté ne souffre pas d'exception : on ne rejoue
que TANT QU'AUCUN OCTET N'A ÉTÉ DIFFUSÉ, sinon la moitié de la réponse
déjà chez l'utilisateur serait dupliquée. Le compteur repart à zéro dès
qu'une réponse arrive.

500 n'est pas un statut de reprise : c'est ce que llama.cpp rend pour un
appel d'outil malformé ou un prompt trop long, deux échecs déterministes
que les filets sémantiques traitent déjà. Restent les codes qui disent
« pas maintenant » : 429, 502, 503, 504.

## Presets externes (backend_external.go, web_external.go)

Un preset avec EXTERNAL=1 route le chat vers une API OpenAI-compatible
distante (OpenAI, Groq, OpenRouter, un vLLM sur une autre machine) au lieu
du llama-server local. C'est un preset COMME UN AUTRE : même liste, même
bascule, même prompt système par preset. La différence ne vit qu'à deux
endroits — l'inférence (resolveChatEndpoint) et la bascule, qui arrête le
moteur local au lieu de le redémarrer.

La clé du serveur local ne part jamais chez un tiers : chaque endpoint
porte la sienne. La clé du preset n'est jamais renvoyée en clair à
l'interface, et un champ vide ne l'efface pas — il faut y avoir touché.
Une fenêtre dédiée plutôt que l'éditeur habituel : un modèle distant n'a
ni quantification, ni couches GPU, ni moteur. Un bouton teste la connexion
avant d'enregistrer, et rend le message de l'API plutôt que le JSON brut.

Le résumé de compactage part au même endroit que le chat : le laisser
taper le moteur local aurait cassé toute compaction sur un preset externe.

## see_image (chat_vision_tool.go)

Loki savait voir une pièce jointe et une capture qu'il venait de prendre,
mais pas un fichier qui dort sur le disque : « regarde ~/photos/bug.png »
n'avait aucune réponse, `read` rendant des octets binaires. L'outil charge
l'image et la réinjecte dans un message utilisateur multimodal — même
chemin que les pièces jointes.

Même règle ÉPHÉMÈRE que les captures (et non celle de l'amont, qui persiste
l'image) : l'image va dans le tour en cours, pas dans l'historique. Un
base64 persisté repartirait à chaque tour et finirait par dépasser la
fenêtre pour de bon.

Le marqueur de perte à la compaction existait déjà mais n'offrait qu'un
recours, « reprends la capture » — ce qui enverrait photographier une page
web alors que l'image perdue est un PNG du disque. Formulation généralisée.

## Au passage

toolCallLabel est extrait de runChat. Cette table nom d'outil → argument a
une double fonction — libellé affiché ET argument principal — donc un outil
absent s'exécute sur une chaîne vide : see_image répondait « chemin de
fichier manquant » quoi qu'on lui passe, sans que rien d'autre ne bronche.
Une table pareille se teste.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_0129sffVC43rezAXUMQuzUog
2026-09-12 21:05:19 +00:00

187 lines
6.7 KiB
Go

package loki
import (
"encoding/base64"
"os"
"path/filepath"
"strings"
"testing"
)
// pngPixel : un PNG valide d'un pixel, assez pour qu'imageMime le reconnaisse.
var pngPixel, _ = base64.StdEncoding.DecodeString(
"iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVR42mP8z8BQDwAEhQGAhKmMIQAAAABJRU5ErkJggg==")
// visionOn arme la vision (clé MMPROJ) et renvoie le dossier de travail.
func visionOn(t *testing.T) string {
t.Helper()
home := testHome(t)
if err := SetConfigKey("MMPROJ", "mmproj-F16.gguf"); err != nil {
t.Fatal(err)
}
return home
}
// Sans projecteur, l'outil DIT ce qui manque au lieu d'échouer vaguement — et
// il ne renvoie surtout aucune image.
func TestSeeImageSansVisionRefuseEtExplique(t *testing.T) {
testHome(t)
txt, img := toolSeeImage("photo.png")
if img != nil {
t.Fatal("une image a été chargée alors que la vision est inactive")
}
if !strings.Contains(txt, "MMPROJ") {
t.Fatalf("le refus ne dit pas ce qui manque : %q", txt)
}
}
// Les refus qui ne dépendent pas du moteur : format, absence, dossier, poids.
// Chacun doit nommer son motif — un modèle qui reçoit « impossible » ne peut
// pas corriger son geste, alors qu'un « ce n'est pas une image » se rattrape.
func TestSeeImageMotifsDeRefus(t *testing.T) {
home := visionOn(t)
write := func(name string, b []byte) string {
p := filepath.Join(home, name)
if err := os.WriteFile(p, b, 0o644); err != nil {
t.Fatal(err)
}
return p
}
write("notes.txt", []byte("bonjour"))
if err := os.MkdirAll(filepath.Join(home, "dossier.png"), 0o755); err != nil {
t.Fatal(err)
}
gros := write("gros.png", append(append([]byte(nil), pngPixel...), make([]byte, maxVisionBytes)...))
cas := []struct{ path, attendu string }{
{"", "chemin de fichier manquant"},
{filepath.Join(home, "notes.txt"), "format non reconnu"},
{filepath.Join(home, "absente.png"), "introuvable"},
{filepath.Join(home, "dossier.png"), "dossier"},
{gros, "trop lourde"},
}
for _, c := range cas {
txt, img := toolSeeImage(c.path)
if img != nil {
t.Errorf("%q : une image a été chargée malgré le refus", c.path)
}
if !strings.Contains(txt, c.attendu) {
t.Errorf("%q : motif = %q, attendu contenir %q", c.path, txt, c.attendu)
}
}
}
// Le message porteur nomme le fichier : après compactage il ne restera que sa
// légende et imageLostMarker, et « Image demandée : » tout court ne dirait pas
// LAQUELLE rouvrir.
func TestMessagePorteurNommeLeFichier(t *testing.T) {
img := map[string]any{"type": "image_url", "image_url": map[string]any{"url": "data:image/png;base64,AAAA"}}
m := seeImageMessage("captures/bug.png", img)
if m.Role != "user" {
t.Fatalf("rôle = %q, attendu user (un message tool ne porte que du texte)", m.Role)
}
parts, ok := m.Content.([]map[string]any)
if !ok || len(parts) != 2 {
t.Fatalf("contenu multimodal attendu, obtenu %#v", m.Content)
}
txt, _ := parts[0]["text"].(string)
if !strings.Contains(txt, "captures/bug.png") {
t.Fatalf("la légende ne nomme pas le fichier : %q", txt)
}
if parts[1]["type"] != "image_url" {
t.Fatalf("seconde partie = %v, attendu image_url", parts[1]["type"])
}
// Et cette légende survit au compactage, suivie du marqueur de perte.
got := msgText(m)
if !strings.Contains(got, "captures/bug.png") || !strings.Contains(got, imageLostMarker) {
t.Fatalf("après compaction : %q", got)
}
}
// Le marqueur ne doit plus parler QUE de captures d'écran : une image perdue
// peut venir du disque, et « reprends la capture » enverrait photographier une
// page web à la place.
func TestMarqueurDePerteNestPlusSpecifiqueAuxCaptures(t *testing.T) {
if strings.Contains(imageLostMarker, "take the screenshot again") {
t.Fatal("le marqueur impose encore la capture d'écran comme seul recours")
}
if !strings.Contains(imageLostMarker, "see_image") {
t.Fatal("le marqueur ne mentionne pas see_image : le modèle ne saura pas rouvrir un fichier")
}
}
// L'outil n'est proposé QUE si la vision est active : l'annoncer sans projecteur
// ferait promettre au modèle de regarder, puis se contredire.
func TestOutilProposeSeulementAvecLaVision(t *testing.T) {
testHome(t)
has := func() bool {
for _, tl := range EnabledTools(Caps{Agent: true}) {
if tl.Function.Name == "see_image" {
return true
}
}
return false
}
if has() {
t.Fatal("see_image proposé sans projecteur configuré")
}
if err := SetConfigKey("MMPROJ", "mmproj-F16.gguf"); err != nil {
t.Fatal(err)
}
if !has() {
t.Fatal("see_image absent alors que la vision est active")
}
// Hors mode agent, jamais : l'outil lit un fichier du disque.
if err := SetConfigKey("MMPROJ", "mmproj-F16.gguf"); err != nil {
t.Fatal(err)
}
for _, tl := range EnabledTools(Caps{}) {
if tl.Function.Name == "see_image" {
t.Fatal("see_image proposé hors mode agent")
}
}
}
// Le chemin doit remonter du JSON d'appel jusqu'à l'outil. Le libellé d'un appel
// est dérivé par une table nom d'outil → argument ; see_image n'y figurait pas,
// donc il recevait une chaîne vide et répondait invariablement « chemin de
// fichier manquant » — l'outil aurait été inutilisable sans rien casser ailleurs.
func TestLeCheminDeLImageRemonteJusquALOutil(t *testing.T) {
if got := toolCallLabel("see_image", map[string]any{"file": "captures/bug.png"}); got != "captures/bug.png" {
t.Fatalf("libellé de see_image = %q, attendu le chemin du fichier", got)
}
}
// Contre-épreuve de l'extraction : les libellés des autres outils n'ont pas
// bougé. Déplacer une table de 40 lignes hors d'une fonction de 700, c'est
// exactement le genre de geste qui casse un cas au passage sans bruit.
func TestLibellesDesAutresOutilsInchanges(t *testing.T) {
cas := []struct{ tool, key, val, want string }{
{"bash", "command", "ls -la", "ls -la"},
{"read", "file", "main.go", "main.go"},
{"web_search", "query", "météo", "météo"},
{"grep", "pattern", "TODO", "TODO"},
{"recall", "id", "b12", "b12"},
{"git_clone", "url", "https://x/y", "https://x/y"},
{"outil_inconnu", "file", "x", ""},
}
for _, c := range cas {
if got := toolCallLabel(c.tool, map[string]any{c.key: c.val}); got != c.want {
t.Errorf("toolCallLabel(%q) = %q, attendu %q", c.tool, got, c.want)
}
}
if got := toolCallLabel("web_grep", map[string]any{"url": "https://x", "pattern": "p"}); got != "p @ https://x" {
t.Errorf("web_grep : %q", got)
}
if got := toolCallLabel("tracker", map[string]any{"action": "add", "name": "poids"}); got != "add poids" {
t.Errorf("tracker : %q", got)
}
// Argument absent ou du mauvais type : chaîne vide, jamais de panique.
if got := toolCallLabel("read", map[string]any{"file": 42}); got != "" {
t.Errorf("argument non-chaîne : %q", got)
}
if got := toolCallLabel("bash", nil); got != "" {
t.Errorf("arguments nil : %q", got)
}
}