mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-24 07:28:13 +02:00
WIP auto-tuning GPU : détection GPU + profil modèle (backend, non câblé)
- config.py : overrides GPU_VRAM_MB / GPU_NAME - ollama_client.py : méthode show() (/api/show) - autotune.py : détection GPU (nvidia-smi/rocm-smi/env), profil modèle et calcul du num_ctx optimal via estimation du cache KV Module isolé, pas encore exposé via route ni UI (sans impact sur l'app). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01SVay7z3y7q2gEe54ByAE6N
This commit is contained in:
1 parent
6aa2f8fd5a
commit
24cd39c5af
3 files changed
+247
No files matched your search
@@ -11,6 +11,11 @@ class Settings(BaseSettings):
|
||||
data_dir: str = "/data"
|
||||
port: int = 8080
|
||||
|
||||
# Override manuel de la VRAM (Mo) si la détection GPU échoue dans le
|
||||
# conteneur (utile sur Unraid où le GPU est sur l'hôte / un autre conteneur).
|
||||
gpu_vram_mb: int = 0
|
||||
gpu_name: str = ""
|
||||
|
||||
model_config = SettingsConfigDict(env_file=".env", extra="ignore")
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user