mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-19 21:18:20 +02:00
Préchargement des modèles : warm + keep_alive + indicateur d'état
Évite le rechargement lent quand Ollama a déchargé le modèle de la VRAM : - ollama_client.warm() : précharge un modèle (/api/generate sans prompt) ; chat() accepte keep_alive (durée de rétention en VRAM). - agent.run_agent transmet keep_alive ; route chat le passe depuis la config. - config : champ keep_alive (défaut 30m) par profil de modèle. - routes/models : POST /api/models/warm, GET /api/models/loaded (placement GPU/CPU via /api/ps). - main : préchargement du modèle par défaut au démarrage (arrière-plan, best-effort — n'empêche pas le démarrage si Ollama est absent). - Frontend : préchargement automatique à la sélection d'un modèle, poll des modèles chargés (8s), pastille verte (GPU) / orange (CPU) / blanche (à charger) dans le sélecteur, réglage 'Maintien en VRAM' dans Configuration. Tests : warm/loaded routes, keep_alive transmis, démarrage résilient sans Ollama, build front. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01SVay7z3y7q2gEe54ByAE6N
This commit is contained in:
12 files changed
+205
-8
No files matched your search
@@ -405,6 +405,27 @@ export function SettingsView() {
|
||||
/>
|
||||
</div>
|
||||
))}
|
||||
<div className="mt-2 flex items-center gap-3 border-t-2 border-line-soft pt-3">
|
||||
<span className="flex-1">
|
||||
<span className="block text-[14px] text-ink">
|
||||
Maintien en VRAM (préchargement)
|
||||
</span>
|
||||
<span className="block text-[12px] text-muted-2">
|
||||
Garde le modèle chargé pour des réponses instantanées
|
||||
</span>
|
||||
</span>
|
||||
<select
|
||||
value={draft.keep_alive}
|
||||
onChange={(e) => set("keep_alive", e.target.value)}
|
||||
className="h-8 border-[3px] border-line bg-card px-2 text-[13px] text-ink"
|
||||
>
|
||||
<option value="0">Décharger aussitôt</option>
|
||||
<option value="5m">5 min</option>
|
||||
<option value="30m">30 min</option>
|
||||
<option value="2h">2 heures</option>
|
||||
<option value="-1">Toujours</option>
|
||||
</select>
|
||||
</div>
|
||||
</Card>
|
||||
|
||||
<BenchCard />
|
||||
|
||||
Reference in new issue
Block a user