Loki ecaa847439 NGL=auto : laisser llama.cpp ajuster les couches à la VRAM libre ...

Loki passait TOUJOURS -ngl, avec 999 comme repli quand le champ est vide :
vider « Couches sur GPU » ne changeait donc rien. Or llama.cpp sait ajuster
lui-même le nombre de couches à la mémoire libre (common_fit_params), mais y
renonce dès que la valeur est imposée — « n_gpu_layers already set by user to
999, abort ». D'où, sur une carte trop juste pour le contexte demandé, des
cudaMalloc en échec, un repli partiel sur le CPU, et un débit effondré alors
que le GPU tourne à 100 %.

NGL=auto n'envoie plus -ngl du tout. Le défaut reste 999 : omettre le drapeau
sur un llama.cpp antérieur à cet ajustement le ferait tourner 100 % CPU.
Le champ de l'UI passe en texte pour accepter « auto ».

Vérifié : NGL=auto → aucun -ngl dans la ligne de commande ; NGL=999 → -ngl 999.

2026-08-15 11:11:40 +00:00

..

src

NGL=auto : laisser llama.cpp ajuster les couches à la VRAM libre

2026-08-15 11:11:40 +00:00

index.html

NGL=auto : laisser llama.cpp ajuster les couches à la VRAM libre

2026-08-15 11:11:40 +00:00

marked.min.js

Rebaptise AJEAN en Loki (fork, lignée conservée)

2026-08-14 21:33:15 +00:00