mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-11 17:26:57 +02:00
Claude
26e93f43ef
Installer un modèle demandait d'aller sur huggingface.co, de naviguer dans l'arborescence d'un dépôt et de coller un lien à la main. Rien ne disait si le fichier tiendrait en mémoire, et surtout rien ne reliait un modèle à SON projecteur vision : c'est ainsi qu'un mmproj-Qwen3VL-8B s'est retrouvé configuré pour un Qwen3.8-27B — deux modèles sans rapport, moteur qui démarre et ne voit rien. La recherche Hugging Face arrive dans l'éditeur de preset. Elle ne remonte que les dépôts GGUF ; déplier un dépôt montre ses quantifications avec leur taille et un verdict mémoire, et propose le projecteur vision DU MÊME DÉPÔT — le seul qui corresponde. Quand le dépôt n'en publie pas, Loki le dit au lieu d'aller en chercher un ailleurs. Le nouveau code ne télécharge rien : il produit des URL que le chemin existant consomme tel quel (normalizeHFURL, shardURLSet, sonde d'espace disque, reprise et annulation). Une file d'attente enchaîne modèle puis projecteur — le serveur ne mène qu'un transfert à la fois, et le champ Vision ne se remplit que si le modèle est déjà sélectionné. Trois familles de .gguf cohabitent dans un dépôt et ne veulent pas dire la même chose : mmproj-* (projecteur), mtp-* (poids de décodage spéculatif) et le modèle. Les deux premières ressemblent à un modèle ; les proposer en vrac, ce serait offrir de lancer llama-server sur un encodeur d'images. Les tranches d'une famille sont repliées en une entrée de taille TOTALE : annoncer 15 Go pour un modèle qui en occupe 45 promet une place qui n'existe pas. Le verdict mémoire s'appuie enfin sur le GPU. detectHardware() ne renvoyait que la RAM système alors que detectGPUs() existait déjà : sur un serveur à carte NVIDIA, le verdict se prononçait sur la mauvaise grandeur. Le coût du cache KV reste une estimation assumée — l'exact demanderait de parser l'en-tête GGUF — et l'interface l'annonce comme telle plutôt que d'afficher un chiffre faussement sûr. Le catalogue ajean.link disparaît. Sa route n'avait aucun consommateur (l'écran d'accueil qu'elle attendait n'a jamais existé), son repli embarqué proposait du Qwen2.5 de 2024, et un fork qui laisse le serveur de l'amont décider de ce qu'il propose n'est pas vraiment un fork. Une piste écartée en cours de route : marquer les dépôts « vision » d'après les tags Hugging Face. Ils mentent — des deux dépôts GGUF de Qwen3.8-27B qui publient tous deux un mmproj, seul ggml-org est taggé image-text-to-text. Une pastille sur l'un et pas sur l'autre aurait été pire que rien. La vision est donc déduite de la seule source qui ne se trompe pas : la présence d'un mmproj-*.gguf dans l'arborescence. Vérifié : 8 tests unitaires sur les arborescences réelles des deux dépôts, puis au navigateur contre le vrai Hugging Face — 25 dépôts trouvés, 3 quants listés sans aucun mtp ni mmproj, projecteur Q8_0 proposé et coché, verdicts affichés avec leur explication, modale dans l'écran. L'ordre de la file (modèle puis projecteur) est testé en interceptant les appels, sans transfert. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01VueWA9xcYadaYq65tBisix
77 lines
2.7 KiB
Go
77 lines
2.7 KiB
Go
package loki
|
|
|
|
// web_hf.go — routes de recherche de modèles sur Hugging Face.
|
|
//
|
|
// GET /api/hf/search?q=… dépôts GGUF correspondants
|
|
// GET /api/hf/files?repo=auteur/dépôt modèles, projecteurs et drafts du dépôt
|
|
//
|
|
// Les deux renvoient aussi le matériel local, pour que l'interface n'ait pas à
|
|
// le demander séparément et n'affiche jamais une liste de tailles sans le
|
|
// budget en face.
|
|
|
|
import (
|
|
"net/http"
|
|
"strconv"
|
|
"strings"
|
|
)
|
|
|
|
func handleHFSearch(w http.ResponseWriter, r *http.Request) {
|
|
q := strings.TrimSpace(r.URL.Query().Get("q"))
|
|
if q == "" {
|
|
sendJSON(w, 400, map[string]any{"ok": false, "error": "précise ce que tu cherches"})
|
|
return
|
|
}
|
|
repos, err := hfSearch(r.Context(), q)
|
|
if err != nil {
|
|
sendJSON(w, 502, map[string]any{"ok": false, "error": err.Error()})
|
|
return
|
|
}
|
|
sendJSON(w, 200, map[string]any{"ok": true, "hardware": detectHardware(), "repos": repos})
|
|
}
|
|
|
|
// handleHFFiles liste les .gguf d'un dépôt, chaque modèle portant son verdict
|
|
// « ça tient / ça ne tient pas ».
|
|
//
|
|
// Le verdict d'un modèle inclut le projecteur QUE si le dépôt en publie un : sur
|
|
// un dépôt sans vision, compter un projecteur inexistant ferait basculer à tort
|
|
// des modèles en « trop ». Le contexte pris en compte est celui du preset actif
|
|
// (CTX), pas une constante : c'est lui qui sera réellement lancé.
|
|
func handleHFFiles(w http.ResponseWriter, r *http.Request) {
|
|
repo := strings.TrimSpace(r.URL.Query().Get("repo"))
|
|
if repo == "" {
|
|
sendJSON(w, 400, map[string]any{"ok": false, "error": "dépôt manquant"})
|
|
return
|
|
}
|
|
list, err := hfFiles(r.Context(), repo)
|
|
if err != nil {
|
|
sendJSON(w, 502, map[string]any{"ok": false, "error": err.Error()})
|
|
return
|
|
}
|
|
hw := detectHardware()
|
|
|
|
// Contexte du preset actif, avec le même défaut que backend_serve.go — sinon
|
|
// le verdict est calculé sur un contexte que personne n'utilisera.
|
|
ctxTokens := 32768
|
|
if v, convErr := strconv.Atoi(strings.TrimSpace(ReadConfig()["CTX"])); convErr == nil && v > 0 {
|
|
ctxTokens = v
|
|
}
|
|
|
|
var mmSize int64
|
|
if p, ok := hfPickProjector(list.Projectors); ok {
|
|
mmSize = p.Size
|
|
}
|
|
for i := range list.Models {
|
|
list.Models[i].Verdict, list.Models[i].Why = fitVerdict(hw, list.Models[i].Size, mmSize, ctxTokens)
|
|
}
|
|
// `vision` sort d'ici et de nulle part ailleurs : c'est la présence d'un
|
|
// mmproj dans CE dépôt, pas un tag Hugging Face — lequel manque sur des
|
|
// dépôts qui en publient pourtant un.
|
|
// Un projecteur ne reçoit pas de verdict : il ne se charge jamais seul.
|
|
sendJSON(w, 200, map[string]any{
|
|
"ok": true, "hardware": hw, "ctx": ctxTokens,
|
|
"repo": list.Repo, "models": list.Models,
|
|
"projectors": list.Projectors, "drafts": list.Drafts,
|
|
"vision": len(list.Projectors) > 0,
|
|
})
|
|
}
|