mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-11 17:26:57 +02:00
Loki
1e232a7ff3
Plus aucune compilation CUDA : le runtime part de ghcr.io/ggml-org/llama.cpp:server-cuda (llama-server précompilé et maintenu par l'équipe amont, backends .so chargés dynamiquement, archs GPU courantes, repli CPU fonctionnel). Le build complet passe de ~40 min à ~4 min et tous les pièges du build CUDA sans GPU (stubs libcuda, espace disque du runner, choix des architectures) disparaissent. - Dockerfile : 2 étapes (Go + image officielle), build-arg LLAMACPP_IMAGE pour épingler une version ou passer en CPU/Vulkan - entrypoint : BIN=/app/llama-server - workflow GHCR : purge disque et CUDA_ARCHS supprimés, cache max - compose/.env/README à l'avenant Validé : build 3 min 55, UI HTTP 200, healthcheck healthy, superviseur PID OK, llama-server démarre (repli CPU) et n'échoue que sur un modèle factice.
36 lines
1.4 KiB
Bash
36 lines
1.4 KiB
Bash
#!/bin/sh
|
|
# Entrypoint du conteneur Loki : sème la configuration au premier démarrage,
|
|
# lance le moteur (supervision PID, sans systemd), puis l'UI au premier plan.
|
|
set -eu
|
|
|
|
: "${LOKI_HOME:=/data}"
|
|
mkdir -p "$LOKI_HOME"
|
|
|
|
# Le chemin du moteur est imposé par l'image (llama-server précompilé de
|
|
# l'image officielle llama.cpp, dans /app) : on le (re)pose à chaque boot,
|
|
# une mise à jour de l'image ne doit pas laisser un BIN obsolète en base.
|
|
loki config set "BIN=/app/llama-server"
|
|
|
|
# Les autres clés ne sont semées QUE si absentes : ce que l'utilisateur règle
|
|
# ensuite dans l'UI (modèle, contexte…) est conservé d'un redémarrage à l'autre.
|
|
seed() { # seed CLÉ VALEUR
|
|
[ -n "$2" ] || return 0
|
|
cur=$(loki config get "$1")
|
|
[ -n "$cur" ] || loki config set "$1=$2"
|
|
}
|
|
seed HOST "${LOKI_ENGINE_HOST:-127.0.0.1}"
|
|
seed PORT "${LOKI_ENGINE_PORT:-8080}"
|
|
seed MODEL "${LOKI_MODEL:-}"
|
|
seed CTX "${LOKI_CTX:-}"
|
|
seed NGL "${LOKI_NGL:-}"
|
|
|
|
# Moteur : démarrage best-effort. Sans MODEL configuré, on laisse l'UI monter
|
|
# quand même — le moteur partira au premier modèle choisi/téléchargé dans l'UI.
|
|
if [ -n "$(loki config get MODEL)" ]; then
|
|
loki start || echo "[entrypoint] moteur non démarré (voir loki logs) — l'UI reste accessible"
|
|
else
|
|
echo "[entrypoint] aucun MODEL configuré — télécharge un modèle depuis l'UI pour démarrer le moteur"
|
|
fi
|
|
|
|
exec loki web "${LOKI_WEB_PORT:-8090}"
|