mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-19 13:08:15 +02:00
Sync état à jour + fix perf GPU/CPU
- LD_LIBRARY_PATH inclut désormais les dossiers runtime CUDA (/usr/local/cuda*/lib64) : corrige le chargement du backend GPU. - Unit systemd : Nice=-10 + CPUSchedulingPolicy=other (priorité CPU). - Met à niveau le reste du projet (models, webauth, presets, web UI).
This commit is contained in:
1 parent
65b2ada540
commit
6ea2e91810
14 files changed
+1143
-318
No files matched your search
@@ -61,7 +61,11 @@ func cmdServe(args []string) error {
|
||||
llmArgs = append(llmArgs, "-ctv", vtv)
|
||||
}
|
||||
if r := cfg["REASONING"]; r != "" {
|
||||
llmArgs = append(llmArgs, "--reasoning", r, "--reasoning-budget", "0")
|
||||
// budget -1 = thinking illimité (défaut). NE PAS forcer 0 : sur llama.cpp
|
||||
// vanilla, 0 = "immediate end" → coupe le raisonnement net (le fork
|
||||
// ik_llama.cpp, lui, l'ignore, d'où l'ancien comportement trompeur).
|
||||
// Configurable via REASONING_BUDGET (ex: 2048 pour plafonner).
|
||||
llmArgs = append(llmArgs, "--reasoning", r, "--reasoning-budget", get("REASONING_BUDGET", "-1"))
|
||||
}
|
||||
// API_KEY protège le serveur quand il est exposé sur internet : llama-server
|
||||
// exige alors l'en-tête "Authorization: Bearer <clé>". La clé est lue depuis
|
||||
|
||||
Reference in new issue
Block a user