mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-11 17:26:57 +02:00
MichaelandClaude Opus 5
cbf8635c61
Les llama-server récents ont fusionné --mlock, --mmap et --no-mmap dans un seul --load-mode, et refusent désormais d'ajuster les couches GPU dès qu'on leur impose un nombre : « n_gpu_layers already set by user to 999, abort ». Le moteur pousse alors tout sur le GPU et meurt en cudaMalloc, ou se replie à moitié sur le CPU — débit effondré, GPU à 100 %. - Traduction des drapeaux dépréciés AU LANCEMENT, pas dans le preset : --mlock → --load-mode mlock, --no-mmap → --load-mode none, --mmap → --load-mode mmap. Les interrupteurs de l'interface continuent d'écrire l'ancienne forme, et un moteur antérieur la reçoit telle quelle. Un --load-mode écrit à la main dans EXTRA_ARGS gagne sur tout. - -ngl auto par défaut quand le moteur propose la valeur, 999 sinon (l'omettre sur un moteur ancien le ferait tourner 100 % CPU). NGL=<nombre> dans le preset reste souverain. - --parallel et -ngl ne sont plus ajoutés en double quand EXTRA_ARGS les porte déjà : le moteur râlait (« specified multiple times ») et, pire, c'est la dernière occurrence qui gagne — le réglage explicite du preset était donc silencieusement écrasé par le défaut de Loki. - Les capacités se lisent dans « <bin> --help », une seule fois par binaire (binHelp met en cache) au lieu d'un lancement par question. Dictée : quand le téléchargement du modèle whisper échoue (conteneur sans réseau, Hugging Face injoignable), le serveur renvoyait bien la raison mais l'interface affichait quand même « téléchargement (0 %) ». L'erreur cachée laissait cliquer indéfiniment sur un micro qui n'écrira jamais rien. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
59 lines
1.8 KiB
Go
59 lines
1.8 KiB
Go
package loki
|
|
|
|
import (
|
|
"reflect"
|
|
"testing"
|
|
)
|
|
|
|
func TestHasAnyFlag(t *testing.T) {
|
|
args := []string{"--parallel", "4", "--load-mode=mlock", "-fa"}
|
|
if !hasAnyFlag(args, "--parallel", "-np") {
|
|
t.Fatal("--parallel devrait être détecté")
|
|
}
|
|
// Forme --clé=valeur : le nom seul compte.
|
|
if !hasAnyFlag(args, "--load-mode") {
|
|
t.Fatal("--load-mode=… devrait être détecté")
|
|
}
|
|
if hasAnyFlag(args, "-ngl", "--n-gpu-layers") {
|
|
t.Fatal("-ngl absent, ne devrait pas être détecté")
|
|
}
|
|
// Une VALEUR qui ressemble à un drapeau ne doit pas compter comme tel :
|
|
// ici "-ngl" n'est pas posé, seul --parallel l'est.
|
|
if hasAnyFlag(nil, "--parallel") {
|
|
t.Fatal("liste vide : rien à détecter")
|
|
}
|
|
}
|
|
|
|
func TestNormalizeLoadFlags(t *testing.T) {
|
|
cases := []struct {
|
|
name string
|
|
in []string
|
|
supports bool
|
|
want []string
|
|
}{
|
|
{"moteur ancien : rien ne bouge", []string{"--mlock", "--no-mmap"}, false,
|
|
[]string{"--mlock", "--no-mmap"}},
|
|
{"mlock traduit", []string{"--mlock", "-fa"}, true,
|
|
[]string{"-fa", "--load-mode", "mlock"}},
|
|
{"no-mmap traduit", []string{"--no-mmap"}, true,
|
|
[]string{"--load-mode", "none"}},
|
|
{"mmap traduit", []string{"--mmap"}, true,
|
|
[]string{"--load-mode", "mmap"}},
|
|
{"mlock l'emporte sur no-mmap", []string{"--no-mmap", "--mlock"}, true,
|
|
[]string{"--load-mode", "mlock"}},
|
|
{"--load-mode explicite gagne, vieux drapeaux retirés",
|
|
[]string{"--mlock", "--load-mode", "dio"}, true,
|
|
[]string{"--load-mode", "dio"}},
|
|
{"rien à traduire", []string{"-fa", "--n-cpu-moe", "8"}, true,
|
|
[]string{"-fa", "--n-cpu-moe", "8"}},
|
|
}
|
|
for _, c := range cases {
|
|
t.Run(c.name, func(t *testing.T) {
|
|
got := normalizeLoadFlags(c.in, c.supports)
|
|
if !reflect.DeepEqual(got, c.want) {
|
|
t.Fatalf("got %q, want %q", got, c.want)
|
|
}
|
|
})
|
|
}
|
|
}
|