mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-22 14:38:12 +02:00
Compare commits
8
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
895aa67366 | ||
|
|
08eaf10a34 | ||
|
|
e177d54e39 | ||
|
|
66b53c8255 | ||
|
|
3991e68fc9 | ||
|
|
cc218ccfd7 | ||
|
|
d8ed86bbba | ||
|
|
748328db25 |
No files matched your search
@@ -56,5 +56,8 @@ jobs:
|
||||
LOKI_VERSION=${{ github.sha }}
|
||||
tags: ${{ steps.meta.outputs.tags }}
|
||||
labels: ${{ steps.meta.outputs.labels }}
|
||||
# Le cache de couches réutilise les étapes whisperbuild-* (compilation
|
||||
# whisper.cpp CUDA, ~35 min) tant que leurs lignes du Dockerfile ne
|
||||
# bougent pas : seul le code Go et l'assemblage de l'image se refont.
|
||||
cache-from: type=gha
|
||||
cache-to: type=gha,mode=max
|
||||
+40
-11
@@ -14,6 +14,18 @@
|
||||
# Déclaré avant le premier FROM : requis pour être utilisable dans un FROM.
|
||||
ARG LLAMACPP_IMAGE=ghcr.io/ggml-org/llama.cpp:server-cuda
|
||||
|
||||
# ⚠️ AVANT le premier FROM, obligatoirement. Un ARG posé entre deux étapes
|
||||
# appartient à l'étape où il apparaît ; les « ARG WHISPER_CMAKE_FLAGS » nus des
|
||||
# étapes whisperbuild-* héritent du scope GLOBAL — c'est-à-dire d'ici. Placé
|
||||
# plus bas, ils héritaient d'une valeur VIDE : cmake tournait sans aucun
|
||||
# drapeau, ggml se construisait en bibliothèques partagées (échec de lien sur
|
||||
# libcuda.so.1) et surtout en -march=native — le SIGILL de la PR #18 revenu en
|
||||
# silence. Un test (TestDockerfileArgFlagsGlobal) verrouille cette position.
|
||||
ARG WHISPER_CMAKE_FLAGS="-DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF \
|
||||
-DWHISPER_BUILD_TESTS=OFF -DWHISPER_BUILD_EXAMPLES=ON \
|
||||
-DGGML_NATIVE=OFF -DGGML_AVX512=OFF -DGGML_AMX_TILE=OFF \
|
||||
-DGGML_AMX_INT8=OFF -DGGML_AMX_BF16=OFF"
|
||||
|
||||
# ── Étape 1 : binaire Go loki ───────────────────────────────────────────
|
||||
FROM golang:1.25 AS gobuild
|
||||
WORKDIR /src
|
||||
@@ -50,11 +62,6 @@ RUN GOBIN=/out GOTOOLCHAIN=auto go install golang.org/x/tools/gopls@latest
|
||||
# pleine transcription : « AMX is not ready to be used! », puis plus rien,
|
||||
# l'interface affichant un échec sans raison. OFF retombe sur la ligne de base
|
||||
# AVX2/FMA/F16C de ggml, présente sur tout x86-64 depuis 2013.
|
||||
ARG WHISPER_CMAKE_FLAGS="-DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF \
|
||||
-DWHISPER_BUILD_TESTS=OFF -DWHISPER_BUILD_EXAMPLES=ON \
|
||||
-DGGML_NATIVE=OFF -DGGML_AVX512=OFF -DGGML_AMX_TILE=OFF \
|
||||
-DGGML_AMX_INT8=OFF -DGGML_AMX_BF16=OFF"
|
||||
|
||||
# Ubuntu 22.04 : glibc plus ancienne que l'image runtime, donc compatible quoi
|
||||
# qu'elle embarque.
|
||||
FROM ubuntu:22.04 AS whisperbuild-cpu
|
||||
@@ -62,13 +69,22 @@ ARG WHISPER_CMAKE_FLAGS
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
build-essential cmake git ca-certificates \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
# Le grep final vérifie que ggml est bien lié EN STATIQUE : l'image finale ne
|
||||
# reçoit que le binaire, une .so ggml manquante ne se verrait qu'au premier
|
||||
# clic sur le micro. Des libs partagées ici = drapeaux non transmis.
|
||||
RUN git clone --depth 1 https://github.com/ggml-org/whisper.cpp /w \
|
||||
&& cmake -S /w -B /w/build ${WHISPER_CMAKE_FLAGS} \
|
||||
&& cmake --build /w/build -j"$(nproc)" --target whisper-server
|
||||
&& cmake --build /w/build -j"$(nproc)" --target whisper-server \
|
||||
&& ( ! ldd /w/build/bin/whisper-server | grep -E "libggml|libwhisper" )
|
||||
|
||||
# Version CUDA. La MAJEURE de CUDA doit correspondre à celle de l'image
|
||||
# runtime : le binaire est lié dynamiquement à libcudart, fournie par
|
||||
# LLAMACPP_IMAGE et non par cette étape.
|
||||
# Version CUDA : la MÊME que celle de l'image amont (llama.cpp bâtit avec
|
||||
# CUDA 12.8.1 sur Ubuntu 24.04). Le binaire est lié dynamiquement à libcudart,
|
||||
# fournie par LLAMACPP_IMAGE et non par cette étape.
|
||||
#
|
||||
# ⚠️ 12.8 est un PLANCHER, pas un détail de version. Les GPU Blackwell
|
||||
# (RTX 50xx, sm_120) n'existent pas pour un nvcc 12.4 : il refuse l'archi, et
|
||||
# à défaut le binaire ne tourne que par recompilation PTX au chargement, quand
|
||||
# elle est possible.
|
||||
#
|
||||
# ⚠️ -j"$(nproc)" et JAMAIS -j nu. Avec Make, « -j » sans nombre autorise un
|
||||
# parallélisme ILLIMITÉ. ggml-cuda compte ~200 fichiers d'instanciation de
|
||||
@@ -76,15 +92,28 @@ RUN git clone --depth 1 https://github.com/ggml-org/whisper.cpp /w \
|
||||
# tué par l'OOM après avoir lancé 92 % des compilations en treize secondes,
|
||||
# sans écrire la moindre ligne d'erreur. L'étape CPU y survivait — peu de
|
||||
# fichiers, compilation légère — ce qui rendait le piège invisible jusqu'ici.
|
||||
FROM nvidia/cuda:12.4.1-devel-ubuntu22.04 AS whisperbuild-cuda
|
||||
#
|
||||
# CUDA_ARCHS borne le travail : ggml compile sinon pour TOUTES les
|
||||
# architectures qu'il connaît, de Maxwell à Blackwell, et chacune multiplie le
|
||||
# temps de compilation. La liste par défaut couvre Turing à Blackwell
|
||||
# (RTX 20xx → 50xx) ; l'élargir pour un GPU plus ancien se fait sans toucher
|
||||
# au fichier : --build-arg CUDA_ARCHS="61;75;86".
|
||||
FROM nvidia/cuda:12.8.1-devel-ubuntu24.04 AS whisperbuild-cuda
|
||||
ARG WHISPER_CMAKE_FLAGS
|
||||
ARG CUDA_ARCHS="75;86;89;120"
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
build-essential cmake git ca-certificates \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
# Même vérification statique que l'étape CPU. libcuda.so.1 (le PILOTE) reste
|
||||
# elle une dépendance dynamique normale : absente du runner de build, injectée
|
||||
# à l'exécution par le NVIDIA Container Toolkit — l'édition de liens la
|
||||
# résout via les stubs du toolkit.
|
||||
RUN git clone --depth 1 https://github.com/ggml-org/whisper.cpp /w \
|
||||
&& cmake -S /w -B /w/build ${WHISPER_CMAKE_FLAGS} -DGGML_CUDA=ON \
|
||||
-DCMAKE_CUDA_ARCHITECTURES="${CUDA_ARCHS}" \
|
||||
&& cmake --build /w/build -j"$(nproc)" --target whisper-server \
|
||||
&& strip /w/build/bin/whisper-server
|
||||
&& strip /w/build/bin/whisper-server \
|
||||
&& ( ! ldd /w/build/bin/whisper-server | grep -E "libggml|libwhisper" )
|
||||
|
||||
# ── Étape 2 : runtime sur l'image serveur CUDA officielle ───────────────
|
||||
FROM ${LLAMACPP_IMAGE} AS runtime
|
||||
|
||||
@@ -311,6 +311,10 @@ details>summary::-webkit-details-marker{display:none}
|
||||
.preset-add{display:none;font-size:14px;padding:0 8px;margin:0 8px 0 auto;line-height:1.4;background:var(--panel);color:var(--text);border:1px solid var(--border);border-radius:3px;cursor:pointer}
|
||||
.preset-add:hover{border-color:var(--accent);color:var(--accent)}
|
||||
details[open]>summary>.preset-add{display:inline-block}
|
||||
/* Les panneaux de réglages ne sont plus des <details>/<summary> mais des
|
||||
<section class="set-pane"> : sans cette règle, le « + » des Presets restait
|
||||
en display:none et il n'y avait plus aucun moyen d'en créer un. */
|
||||
.set-pane-h>.preset-add{display:inline-block}
|
||||
.tag{display:inline-block;padding:2px 8px;border-radius:4px;font-size:11px;background:var(--panel);border:1px solid var(--border)}
|
||||
.tag.ok{color:var(--ok);border-color:var(--ok)}
|
||||
.tag.err{color:var(--err);border-color:var(--err)}
|
||||
|
||||
@@ -280,6 +280,10 @@ details>summary::-webkit-details-marker{display:none}
|
||||
.preset-add{display:none;font-size:14px;padding:0 8px;margin:0 8px 0 auto;line-height:1.4;background:var(--panel);color:var(--text);border:1px solid var(--border);border-radius:3px;cursor:pointer}
|
||||
.preset-add:hover{border-color:var(--accent);color:var(--accent)}
|
||||
details[open]>summary>.preset-add{display:inline-block}
|
||||
/* Les panneaux de réglages ne sont plus des <details>/<summary> mais des
|
||||
<section class="set-pane"> : sans cette règle, le « + » des Presets restait
|
||||
en display:none et il n'y avait plus aucun moyen d'en créer un. */
|
||||
.set-pane-h>.preset-add{display:inline-block}
|
||||
.tag{display:inline-block;padding:2px 8px;border-radius:4px;font-size:11px;background:var(--panel);border:1px solid var(--border)}
|
||||
.tag.ok{color:var(--ok);border-color:var(--ok)}
|
||||
.tag.err{color:var(--err);border-color:var(--err)}
|
||||
|
||||
@@ -3,6 +3,7 @@ package loki
|
||||
import (
|
||||
"os"
|
||||
"regexp"
|
||||
"strconv"
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
@@ -122,6 +123,63 @@ func TestDockerfileDeuxBinairesWhisper(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// L'étape CUDA doit être bâtie avec un nvcc qui CONNAÎT les GPU visés. CUDA
|
||||
// 12.4 ignore Blackwell (RTX 50xx, sm_120) : il refuse l'architecture, et le
|
||||
// binaire ne tournerait au mieux que par recompilation PTX au chargement.
|
||||
// 12.8 est le plancher, et c'est aussi la version avec laquelle llama.cpp bâtit
|
||||
// l'image amont qui fournit libcudart.
|
||||
func TestDockerfileCudaAssezRecent(t *testing.T) {
|
||||
const majeurMin, mineurMin = 12, 8
|
||||
trouve := false
|
||||
for nom, txt := range etapesWhisperbuild(t) {
|
||||
m := regexp.MustCompile(`nvidia/cuda:(\d+)\.(\d+)`).FindStringSubmatch(txt)
|
||||
if m == nil {
|
||||
continue
|
||||
}
|
||||
trouve = true
|
||||
maj, _ := strconv.Atoi(m[1])
|
||||
min, _ := strconv.Atoi(m[2])
|
||||
if maj < majeurMin || (maj == majeurMin && min < mineurMin) {
|
||||
t.Errorf("étape %s : CUDA %s.%s — trop ancien pour Blackwell (sm_120), il faut au moins %d.%d",
|
||||
nom, m[1], m[2], majeurMin, mineurMin)
|
||||
}
|
||||
// Sans borne d'architectures, ggml compile de Maxwell à Blackwell :
|
||||
// chaque architecture multiplie le temps de compilation, et le build
|
||||
// dépassait quarante minutes.
|
||||
if !strings.Contains(txt, "CMAKE_CUDA_ARCHITECTURES") {
|
||||
t.Errorf("étape %s : aucune borne CMAKE_CUDA_ARCHITECTURES — la compilation vise toutes les architectures connues", nom)
|
||||
}
|
||||
}
|
||||
if !trouve {
|
||||
t.Error("aucune étape whisperbuild ne part d'une image nvidia/cuda")
|
||||
}
|
||||
}
|
||||
|
||||
// L'ARG qui porte les drapeaux doit être déclaré AVANT le premier FROM. Un ARG
|
||||
// posé entre deux étapes appartient à l'étape où il apparaît ; les « ARG » nus
|
||||
// des étapes whisperbuild-* héritent alors du scope global — vide. cmake a
|
||||
// tourné sans aucun drapeau : ggml en bibliothèques partagées (échec de lien),
|
||||
// et -march=native — le SIGILL de la PR #18 revenu en silence. 51 minutes de
|
||||
// build pour le découvrir.
|
||||
func TestDockerfileArgFlagsGlobal(t *testing.T) {
|
||||
b, err := os.ReadFile("../../Dockerfile")
|
||||
if err != nil {
|
||||
t.Fatalf("lecture du Dockerfile : %v", err)
|
||||
}
|
||||
src := string(b)
|
||||
// Ancré en début de ligne : une occurrence dans un commentaire ne compte
|
||||
// pas — c'est précisément ainsi qu'une première version de ce test s'est
|
||||
// laissée berner par sa propre contre-épreuve.
|
||||
argLoc := regexp.MustCompile(`(?m)^ARG WHISPER_CMAKE_FLAGS=`).FindStringIndex(src)
|
||||
fromLoc := regexp.MustCompile(`(?m)^FROM `).FindStringIndex(src)
|
||||
if argLoc == nil {
|
||||
t.Fatal("ARG WHISPER_CMAKE_FLAGS= introuvable dans le Dockerfile")
|
||||
}
|
||||
if fromLoc != nil && argLoc[0] > fromLoc[0] {
|
||||
t.Error("ARG WHISPER_CMAKE_FLAGS= est déclaré APRÈS un FROM : les étapes whisperbuild-* hériteront d'une valeur vide et cmake tournera sans aucun drapeau")
|
||||
}
|
||||
}
|
||||
|
||||
func clefs(m map[string]string) []string {
|
||||
out := make([]string, 0, len(m))
|
||||
for k := range m {
|
||||
|
||||
Reference in new issue
Block a user