Moteur : trois réglages d'expert sur demande — marge VRAM par carte (FIT_TARGET), seuil d'offload des experts, branches Q/K/V parallèles

Sur deux cartes inégales (5060 Ti + 3060) ou un MoE aux experts sur CPU, il
reste quelques leviers de placement que llama.cpp expose mais que Loki ne
savait pas poser. Aucun ne touche au modèle (poids, contexte, cache,
échantillonnage) ; tous restent éteints tant que le preset ne les demande pas,
et le gain se décide à la mesure.

- FIT_TARGET=1024,3072 → --fit-target : marge libre par carte pour --fit.
  Validée (entiers, 8 valeurs au plus, jamais transmise brute : stoull ferait
  mourir le moteur en boucle), remontée à 1024 Mio au minimum. Seulement si
  l'aide la liste, sans -fitt ni LLAMA_ARG_FIT_TARGET déjà posés, avec un
  contexte chiffré (CTX=0 laisserait fit réduire le contexte) et si --fit
  tournera vraiment : NGL chiffré, --tensor-split, -ot, --n-cpu-moe, -cmoe,
  --fit off ou -sm row le coupent, et on le dit au lieu de ne rien faire.
- OP_OFFLOAD_MIN_BATCH=N → GGML_OP_OFFLOAD_MIN_BATCH : les lots de moins de N
  jetons restent sur CPU pour les poids en RAM. Utile pour des brouillons
  ngram de 32 jetons ou plus ; MTP vérifie déjà sous 32.
- CUDA_GRAPH_OPT=on → GGML_CUDA_GRAPH_OPT=1 : expérimental, sortie identique en
  amont, gain de 0 à quelques % ; refusé si -sm row/tensor ou un -ot sur
  l'attention pouvait séparer Q, K et V d'une couche. Le lancement rappelle
  « off puis redémarrer » en cas de GGML_ASSERT.
- une variable déjà dans l'environnement n'est jamais touchée ; elles ne vont
  qu'à llama-server via « loki serve ».
- tensorOverride, extrait de pipelineBlocker, sert aussi à la garde de --fit.
- --backend-sampling écarté : pas identique au bit près, et inactif sur les
  requêtes à outils (grammaire) qui font l'essentiel du trafic.
- clés documentées dans le squelette de « loki edit » ; tests de table.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

internal/loki/backend_serve_queues.go

@@ -114,19 +114,8 @@ func servedGPUCount(extra []string, si serveSysInfo) int {
 // drapeaux, chaque occurrence ajoute les siennes. Un --n-cpu-moe 0 n'annule
 // donc pas un LLAMA_ARG_N_CPU_MOE=30.
 func pipelineBlocker(cfg map[string]string, extra []string, argEnv map[string]string) string {
-	if hasAnyFlag(extra, "-ot", "--override-tensor", "--cpu-moe", "-cmoe") ||
-		argEnv["LLAMA_ARG_OVERRIDE_TENSOR"] != "" || envTruthy(argEnv["LLAMA_ARG_CPU_MOE"]) {
-		return "surcharge de tenseurs"
-	}
-	for _, n := range []struct{ env, short, long string }{
-		{"LLAMA_ARG_N_CPU_MOE", "-ncmoe", "--n-cpu-moe"},
-		{"LLAMA_ARG_N_CPU_FFN", "-ncffn", "--n-cpu-ffn"},
-	} {
-		for _, v := range append(flagValues(extra, n.short, n.long), argEnv[n.env]) {
-			if v = strings.TrimSpace(v); v != "" && v != "0" {
-				return "couches " + n.long + " sur CPU"
-			}
-		}
+	if r := tensorOverride(extra, argEnv); r != "" {
+		return r
 	}
 	if !kvOffloaded(extra, argEnv) {
 		return "cache KV sur CPU"
@@ -155,6 +144,28 @@ func pipelineBlocker(cfg map[string]string, extra []string, argEnv map[string]st
 	return ""
 }
 
+// tensorOverride dit si des tenseurs sont placés à la main (-ot et ses formes
+// déguisées --cpu-moe, --n-cpu-moe, --n-cpu-ffn), en drapeau ou en variable.
+// Vide = aucun. Le pipeline entre cartes s'y arrête, et --fit aussi
+// (« tensor_buft_overrides already set by user, abort »).
+func tensorOverride(extra []string, argEnv map[string]string) string {
+	if hasAnyFlag(extra, "-ot", "--override-tensor", "--cpu-moe", "-cmoe") ||
+		argEnv["LLAMA_ARG_OVERRIDE_TENSOR"] != "" || envTruthy(argEnv["LLAMA_ARG_CPU_MOE"]) {
+		return "surcharge de tenseurs"
+	}
+	for _, n := range []struct{ env, short, long string }{
+		{"LLAMA_ARG_N_CPU_MOE", "-ncmoe", "--n-cpu-moe"},
+		{"LLAMA_ARG_N_CPU_FFN", "-ncffn", "--n-cpu-ffn"},
+	} {
+		for _, v := range append(flagValues(extra, n.short, n.long), argEnv[n.env]) {
+			if v = strings.TrimSpace(v); v != "" && v != "0" {
+				return "couches " + n.long + " sur CPU"
+			}
+		}
+	}
+	return ""
+}
+
 // kvOffloaded : le cache KV reste-t-il sur GPU ? Le dernier -kvo/-nkvo de la
 // ligne de commande tranche ; sinon LLAMA_ARG_NO_KV_OFFLOAD, dont la SEULE
 // présence vaut « non » pour llama.cpp (quelle que soit sa valeur), puis