mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-20 21:48:47 +02:00
Préchargement des modèles : warm + keep_alive + indicateur d'état
Évite le rechargement lent quand Ollama a déchargé le modèle de la VRAM : - ollama_client.warm() : précharge un modèle (/api/generate sans prompt) ; chat() accepte keep_alive (durée de rétention en VRAM). - agent.run_agent transmet keep_alive ; route chat le passe depuis la config. - config : champ keep_alive (défaut 30m) par profil de modèle. - routes/models : POST /api/models/warm, GET /api/models/loaded (placement GPU/CPU via /api/ps). - main : préchargement du modèle par défaut au démarrage (arrière-plan, best-effort — n'empêche pas le démarrage si Ollama est absent). - Frontend : préchargement automatique à la sélection d'un modèle, poll des modèles chargés (8s), pastille verte (GPU) / orange (CPU) / blanche (à charger) dans le sélecteur, réglage 'Maintien en VRAM' dans Configuration. Tests : warm/loaded routes, keep_alive transmis, démarrage résilient sans Ollama, build front. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01SVay7z3y7q2gEe54ByAE6N
This commit is contained in:
12 files changed
+205
-8
No files matched your search
@@ -115,6 +115,20 @@ npm run dev # http://localhost:5173
|
||||
| `web_search` | Recherche web (DuckDuckGo / SearxNG) | désactivé |
|
||||
| `run_shell` | Exécuter une commande **(sensible)** | désactivé |
|
||||
|
||||
## Préchargement des modèles (réponses instantanées)
|
||||
|
||||
Ollama décharge un modèle de la VRAM après quelques minutes d'inactivité : le
|
||||
message suivant paie alors un rechargement complet (lent). Loki évite ça :
|
||||
|
||||
- **Préchargement à la sélection** : choisir un modèle le charge immédiatement
|
||||
en VRAM (`/api/models/warm`).
|
||||
- **Maintien au chaud** : chaque requête envoie un `keep_alive` (défaut 30 min,
|
||||
réglable dans Configuration → Intelligence : de « décharger aussitôt » à
|
||||
« toujours »).
|
||||
- **Préchargement au démarrage** du modèle par défaut (en arrière-plan).
|
||||
- **Indicateur d'état** : la pastille du sélecteur de modèle est verte quand le
|
||||
modèle est chargé sur GPU, orange sur CPU, blanche s'il reste à charger.
|
||||
|
||||
## Intelligence augmentée
|
||||
|
||||
- **Plan-puis-exécute** : les demandes complexes sont décomposées en 3-5 étapes
|
||||
|
||||
Reference in new issue
Block a user