Sync état à jour + fix perf GPU/CPU

- LD_LIBRARY_PATH inclut désormais les dossiers runtime CUDA
  (/usr/local/cuda*/lib64) : corrige le chargement du backend GPU.
- Unit systemd : Nice=-10 + CPUSchedulingPolicy=other (priorité CPU).
- Met à niveau le reste du projet (models, webauth, presets, web UI).
This commit is contained in:
nathaninline committed 2026-06-17 13:21:25 +02:00
1 parent 65b2ada540
commit 6ea2e91810
14 files changed
+1143 -318

No files matched your search

+5 -1
View File
@@ -61,7 +61,11 @@ func cmdServe(args []string) error {
llmArgs = append(llmArgs, "-ctv", vtv)
}
if r := cfg["REASONING"]; r != "" {
llmArgs = append(llmArgs, "--reasoning", r, "--reasoning-budget", "0")
// budget -1 = thinking illimité (défaut). NE PAS forcer 0 : sur llama.cpp
// vanilla, 0 = "immediate end" → coupe le raisonnement net (le fork
// ik_llama.cpp, lui, l'ignore, d'où l'ancien comportement trompeur).
// Configurable via REASONING_BUDGET (ex: 2048 pour plafonner).
llmArgs = append(llmArgs, "--reasoning", r, "--reasoning-budget", get("REASONING_BUDGET", "-1"))
}
// API_KEY protège le serveur quand il est exposé sur internet : llama-server
// exige alors l'en-tête "Authorization: Bearer <clé>". La clé est lue depuis