mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-12 17:57:37 +02:00
MichaelandClaude Opus 4.8
24cd39c5af
- config.py : overrides GPU_VRAM_MB / GPU_NAME - ollama_client.py : méthode show() (/api/show) - autotune.py : détection GPU (nvidia-smi/rocm-smi/env), profil modèle et calcul du num_ctx optimal via estimation du cache KV Module isolé, pas encore exposé via route ni UI (sans impact sur l'app). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01SVay7z3y7q2gEe54ByAE6N
23 lines
737 B
Python
23 lines
737 B
Python
"""Configuration de l'application, chargée depuis l'environnement."""
|
|
from pydantic_settings import BaseSettings, SettingsConfigDict
|
|
|
|
|
|
class Settings(BaseSettings):
|
|
"""Réglages globaux de Loki (surchargés par variables d'environnement)."""
|
|
|
|
ollama_host: str = "http://host.docker.internal:11434"
|
|
default_model: str = "llama3.1:8b"
|
|
workspace_dir: str = "/workspace"
|
|
data_dir: str = "/data"
|
|
port: int = 8080
|
|
|
|
# Override manuel de la VRAM (Mo) si la détection GPU échoue dans le
|
|
# conteneur (utile sur Unraid où le GPU est sur l'hôte / un autre conteneur).
|
|
gpu_vram_mb: int = 0
|
|
gpu_name: str = ""
|
|
|
|
model_config = SettingsConfigDict(env_file=".env", extra="ignore")
|
|
|
|
|
|
settings = Settings()
|