mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-19 13:08:15 +02:00
Dictée : Parakeet remplace whisper.cpp
Parakeet TDT 0.6B v3 (NVIDIA), servi par sherpa-onnx. La v3 et non la v2 : c'est la seule des deux qui parle français — la v2 est anglais seul. CE QUI DISPARAÎT DU DOCKERFILE Deux étapes de compilation, dont une CUDA de ~200 fichiers nvcc qui a été tuée par l'OOM du runner plus d'une fois, et avec elles tout l'appareillage de garde-fous qu'elles réclamaient (GGML_NATIVE=OFF contre le SIGILL en production, bornage des architectures CUDA, deux binaires CPU/CUDA à choisir à l'exécution). À la place : le téléchargement d'un binaire statique de 35 Mo, version épinglée et empreinte SHA-256 vérifiée — le binaire s'exécute sur la machine de l'utilisateur, une release remplacée en amont ne doit pas passer en silence. CE QUI CHANGE DANS LE CODE La forme est la même — un processus local supervisé, éteint après dix minutes d'inactivité. Le dialogue, lui, change : whisper-server exposait du HTTP multipart, sherpa-onnx n'expose qu'un WebSocket dont le protocole tient en deux entiers et des flottants. D'où un client WebSocket et une conversion WAV → float32 côté serveur. Le parcours des blocs du WAV n'est pas du zèle : l'offset 44 codé en dur transforme un bloc LIST intercalé en craquement au début de chaque phrase. DEUX RÉGLAGES DISPARAISSENT, ET C'EST LE MOTEUR QUI L'IMPOSE La LANGUE : Parakeet la détecte lui-même, il n'a aucun drapeau pour la forcer. Le réglage n'aurait servi qu'à mentir. À surveiller : whisper avait précisément écarté la détection automatique parce qu'elle se trompait sur des tranches courtes. Le GPU : le build livré est le statique CPU. Annoncer un sélecteur de carte sans pouvoir l'honorer serait pire que de ne rien annoncer — et un modèle de 0,6 B en int8 sur des tranches de quelques secondes n'en a pas besoin, la carte reste au moteur de chat. MIGRATION Un réglage enregistré du temps de whisper retombe sur le défaut au lieu de casser la dictée. Les modèles ggml de /data/whisper/ ne servent plus à rien mais ne sont PAS effacés : ce sont des données que personne n'a demandé de perdre. Ils sont à supprimer à la main. Le paquet UI regénéré ici couvre aussi les sources du commit précédent. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
17f8fa8f34
commit
54468b3336
17 files changed
+1807
-894
No files matched your search
@@ -51,6 +51,14 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
<span id="status-svc" class="statuspill" onclick="toggleSvcLog()" title="voir le journal du moteur">…</span>
|
||||
</div>
|
||||
<div id="side-scroll">
|
||||
<!-- Projet actif : il gouverne la mémoire, les trackers ET la liste des
|
||||
discussions en dessous. Posé AU-DESSUS d'elles parce qu'il les contient —
|
||||
changer de projet change la liste. Le bouton ouvre le panneau de gestion
|
||||
(créer, renommer, décrire, supprimer), geste bien plus rare que la bascule. -->
|
||||
<div class="projrow">
|
||||
<select id="proj-switch" onchange="onProjectSwitch(this)" title="projet actif — mémoire, trackers et discussions cloisonnés" aria-label="projet actif"></select>
|
||||
<button class="preset-add" onclick="openSettings('projets')" title="gérer les projets" aria-label="gérer les projets"><svg viewBox="0 0 24 24" width="15" height="15" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round" stroke-linejoin="round" aria-hidden="true"><path d="M3 7a2 2 0 0 1 2-2h4l2 2h8a2 2 0 0 1 2 2v8a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2z"/></svg></button>
|
||||
</div>
|
||||
<!-- Discussions : plusieurs fils, la liste la plus récente en tête. Le fil
|
||||
actif est partagé par tous les appareils (comme la conversation unique
|
||||
d'origine) : basculer ici bascule partout.
|
||||
@@ -165,7 +173,7 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
<option value="high">haute</option>
|
||||
<option value="xhigh">maximale</option>
|
||||
</select>
|
||||
<!-- Dictée vocale : enregistre au micro, transcrit en local (whisper.cpp
|
||||
<!-- Dictée vocale : enregistre au micro, transcrit en local (Parakeet
|
||||
côté serveur) et pose le texte dans le champ. Voir js/23-dictate.js.
|
||||
Le navigateur n'autorise le micro qu'en HTTPS (ou localhost). -->
|
||||
<button id="mic" onclick="dictateToggle()" title="dicter au micro" aria-label="dicter au micro">
|
||||
@@ -250,6 +258,7 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
<div class="set-shell">
|
||||
<nav class="set-nav" id="set-nav" aria-label="sections des réglages">
|
||||
<div class="set-nav-h">Intelligence artificielle</div>
|
||||
<button data-pane="projets" onclick="settingsShow('projets')">Projets</button>
|
||||
<button data-pane="config" onclick="settingsShow('config')">Config active</button>
|
||||
<button data-pane="presets" onclick="settingsShow('presets')">Presets</button>
|
||||
<button data-pane="agent" onclick="settingsShow('agent')"><span>Mode agent</span><span id="agent-badge" class="sbadge"></span></button>
|
||||
@@ -279,6 +288,19 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
</div>
|
||||
<div id="paths-msg" class="muted" style="font-size:10px;line-height:1.5"></div>
|
||||
</section>
|
||||
<!-- Projets : un chantier = une mémoire, ses discussions et ses trackers. La
|
||||
BASCULE se fait dans la barre latérale (geste quotidien) ; ici on gère
|
||||
(créer, décrire, renommer, supprimer), ce qui est rare. -->
|
||||
<section class="set-pane" data-pane="projets">
|
||||
<div class="set-pane-h"><span>Projets</span></div>
|
||||
<div class="muted" style="font-size:12px;line-height:1.5;margin:0 2px 8px">Chaque projet a sa <b>mémoire</b>, ses <b>discussions</b> et ses <b>trackers</b>, séparés des autres. La <b>description</b> est donnée à l'IA au début de chaque discussion du projet : elle sait sur quoi elle travaille sans qu'on le lui réexplique.</div>
|
||||
<div class="slist">
|
||||
<div class="rowbody">
|
||||
<div id="proj-list" class="mcp-list"></div>
|
||||
<button class="addbtn" style="margin-top:6px" onclick="newProject()">+ ajouter un projet</button>
|
||||
</div>
|
||||
</div>
|
||||
</section>
|
||||
<section class="set-pane" data-pane="config" id="cfg-details">
|
||||
<div class="set-pane-h"><span>Config active</span></div>
|
||||
<div id="cfg" class="slist">…</div>
|
||||
@@ -316,6 +338,16 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
</div>
|
||||
<div id="mem-list" class="mem-list rowlist muted" style="font-size:12px"></div>
|
||||
</div>
|
||||
<!-- Trackers : le 3e type de mémoire. Rangé sous « Mémoire » parce que
|
||||
c'en est une — mais séparé des pages, parce qu'on ne les lit pas
|
||||
pareil : une page se lit en entier, un tracker jamais. -->
|
||||
<div id="track-bar" class="pages-bar" onclick="toggleTrackers()">
|
||||
<span class="pages-title">Trackers <span id="track-count" class="mem-count"></span><span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">Données <b>datées qui s'accumulent</b> : compteurs, relevés, journaux d'événements (poids, abonnés, relevés de compteur…). L'IA y ajoute des points et les consulte par niveaux — jamais en entier, quelle que soit l'ancienneté. La <b>dernière valeur</b> de chaque tracker lui est donnée d'emblée : elle répond sans appeler d'outil.</span></span></span>
|
||||
<button class="addbtn" onclick="event.stopPropagation();newTracker()" title="créer un tracker">+ ajouter</button>
|
||||
</div>
|
||||
<div id="track-body" hidden>
|
||||
<div id="track-list" class="mem-list rowlist muted" style="font-size:12px"></div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
<div id="net-block" class="gated-group">
|
||||
@@ -470,18 +502,12 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
</div>
|
||||
</div></div>
|
||||
</section>
|
||||
<!-- Dictée vocale. Réglages de SERVEUR : le modèle chargé et le GPU occupé
|
||||
sont des propriétés de la machine, identiques pour tous les onglets.
|
||||
<!-- Dictée vocale. Réglages de SERVEUR : le modèle chargé est une propriété
|
||||
de la machine, identique pour tous les onglets.
|
||||
Voir js/24-dictate-settings.js et internal/loki/dictate_*.go. -->
|
||||
<section class="set-pane" data-pane="dictee">
|
||||
<div class="set-pane-h"><span>Dictée</span></div>
|
||||
<div class="subhead">Matériel<span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">whisper tourne dans un processus séparé, allumé au premier clic sur le micro et éteint après <b>dix minutes</b> sans dictée — il ne garde pas la VRAM occupée pour rien. Le GPU choisi est transmis par <code>CUDA_VISIBLE_DEVICES</code>.</span></span></div>
|
||||
<div class="slist">
|
||||
<label class="switchrow"><span>processeur ou GPU</span>
|
||||
<select id="dic-device" class="sctl"></select>
|
||||
</label>
|
||||
</div>
|
||||
<div class="subhead">Modèle<span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">Les modèles ne sont <b>pas</b> dans l'image : ils sont téléchargés à la demande dans <code>/data/whisper/</code> et survivent aux recréations du conteneur. Plus le modèle est gros, mieux il comprend — et plus il occupe de mémoire.</span></span></div>
|
||||
<div class="subhead">Modèle<span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">Transcription par <b>Parakeet</b> (NVIDIA), servie par sherpa-onnx. Le modèle n'est <b>pas</b> dans l'image : il est téléchargé à la demande dans <code>/data/asr/</code> et survit aux recréations du conteneur. Il tourne dans un processus séparé, allumé au premier clic sur le micro et éteint après <b>dix minutes</b> sans dictée. Sur le <b>processeur</b> : la carte reste au moteur de chat, et un modèle de cette taille n'en a pas besoin sur des tranches de quelques secondes.</span></span></div>
|
||||
<div class="slist">
|
||||
<label class="switchrow"><span>modèle</span>
|
||||
<select id="dic-model" class="sctl"></select>
|
||||
@@ -491,18 +517,8 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
<span id="dic-dl-state" class="dim"></span>
|
||||
</div>
|
||||
</div>
|
||||
<div class="subhead">Reconnaissance</div>
|
||||
<div class="subhead">Reconnaissance<span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">Il n'y a pas de réglage de <b>langue</b> : Parakeet la détecte lui-même, phrase par phrase. Le modèle v3 couvre 25 langues européennes dont le français ; le v2 ne comprend que l'anglais.</span></span></div>
|
||||
<div class="slist">
|
||||
<label class="switchrow"><span>langue</span>
|
||||
<select id="dic-lang" class="sctl">
|
||||
<option value="fr">français</option>
|
||||
<option value="en">anglais</option>
|
||||
<option value="de">allemand</option>
|
||||
<option value="es">espagnol</option>
|
||||
<option value="it">italien</option>
|
||||
<option value="auto">détection automatique</option>
|
||||
</select>
|
||||
</label>
|
||||
<label class="switchrow"><span>réactivité<span class="help" tabindex="0" onclick="event.preventDefault();event.stopPropagation();this.classList.toggle('open')">?<span class="tip">Longueur des tranches transcrites au fil de la dictée. Court = le texte arrive plus tôt, avec moins de contexte donc plus d'erreurs. Long = mieux reconnu, mais plus d'attente.</span></span></span>
|
||||
<select id="dic-react" class="sctl">
|
||||
<option value="court">court</option>
|
||||
@@ -702,6 +718,29 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
<!-- Détail d'un tracker : ses points, du plus récent au plus ancien. La LISTE
|
||||
(panneau Mémoire) ne charge jamais les points — un tracker peut en compter
|
||||
des milliers ; ils n'arrivent qu'ici, à l'ouverture. -->
|
||||
<div id="track-modal" class="modal-ov" style="display:none" onclick="if(event.target===this)closeTracker()">
|
||||
<div class="modal-card" style="max-width:600px">
|
||||
<div class="modal-head">
|
||||
<strong id="track-modal-title">Tracker</strong>
|
||||
<button class="modal-x" onclick="closeTracker()" aria-label="Fermer"><svg viewBox="0 0 24 24" width="15" height="15" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round" stroke-linejoin="round" aria-hidden="true"><path d="M6.5 6.5l11 11"/><path d="M17.5 6.5l-11 11"/></svg></button>
|
||||
</div>
|
||||
<div class="modal-body">
|
||||
<div id="track-events" class="mcp-list"></div>
|
||||
<button class="addbtn" style="margin-top:6px" onclick="addTrackerPoint()">+ ajouter un point</button>
|
||||
</div>
|
||||
<div class="modal-foot">
|
||||
<div class="foot-l">
|
||||
<button onclick="renameTracker()">renommer</button>
|
||||
<button onclick="moveTracker()">déplacer</button>
|
||||
<button class="danger" onclick="deleteTracker()">supprimer</button>
|
||||
</div>
|
||||
<div class="foot-r"><button onclick="closeTracker()">fermer</button></div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
<div id="lc-custom-modal" class="modal-ov" style="display:none" onclick="if(event.target===this)closeCustomBackends()">
|
||||
<div class="modal-card" style="max-width:560px">
|
||||
<div class="modal-head">
|
||||
@@ -839,6 +878,13 @@ document.documentElement.setAttribute('data-side',localStorage.getItem('loki-sid
|
||||
<span class="pe-row-l">Modèle utilisé</span>
|
||||
<span class="pe-row-c"><span class="pe-selc"><select id="task-preset"></select></span></span>
|
||||
</div>
|
||||
<!-- Projet visé : gouverne la MÉMOIRE et les TRACKERS que la tâche voit
|
||||
quand elle s'exécute, pas sa visibilité — le panneau reste global,
|
||||
sinon une tâche semblerait déplanifiée en changeant de projet. -->
|
||||
<div class="pe-row">
|
||||
<span class="pe-row-l">Projet visé</span>
|
||||
<span class="pe-row-c"><span class="pe-selc"><select id="task-project"></select></span></span>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
|
||||
@@ -1,9 +1,10 @@
|
||||
// ─── Dictée vocale ───────────────────────────────────────────────────────────
|
||||
// Bouton micro de la carte de saisie : un clic enregistre, un second arrête et
|
||||
// transcrit. La capture est encodée en WAV 16 kHz mono ICI, côté navigateur —
|
||||
// whisper.cpp ne lit que du PCM, et encoder au bon format évite d'embarquer
|
||||
// ffmpeg dans l'image. La transcription est locale (POST /api/transcribe →
|
||||
// whisper-cli). Le texte s'ajoute au champ sans écraser ce qui s'y trouve.
|
||||
// le moteur de transcription ne lit que du PCM, et encoder au bon format évite
|
||||
// d'embarquer ffmpeg dans l'image. La transcription est locale (POST
|
||||
// /api/transcribe → Parakeet côté serveur). Le texte s'ajoute au champ sans
|
||||
// écraser ce qui s'y trouve.
|
||||
//
|
||||
// ⚠️ Le micro n'est autorisé par le NAVIGATEUR qu'en contexte sécurisé (HTTPS
|
||||
// ou localhost) : servi en http://IP:8090, getUserMedia n'existe pas — on
|
||||
@@ -67,7 +68,7 @@ async function dictateStop(){
|
||||
}
|
||||
|
||||
// Ré-échantillonne le PCM capturé (44,1/48 kHz selon la machine) vers du WAV
|
||||
// 16 kHz mono 16 bits — le format d'entrée de whisper.cpp. Décimation simple :
|
||||
// 16 kHz mono 16 bits — le format d’entrée du moteur de dictée. Décimation simple :
|
||||
// pour de la voix ré-échantillonnée VERS LE BAS, largement suffisant.
|
||||
function encodeWav16k(chunks, fromRate){
|
||||
const toRate = 16000;
|
||||
|
||||
@@ -1,41 +1,33 @@
|
||||
// ─── Réglages de la dictée ───────────────────────────────────────────────────
|
||||
// Panneau Paramètres → Dictée : matériel, modèle, langue, réactivité, plus un
|
||||
// test du micro. Ce sont des réglages de SERVEUR (le modèle chargé et le GPU
|
||||
// occupé appartiennent à la machine), donc rien n'est gardé en localStorage :
|
||||
// tout passe par /api/dictate/*.
|
||||
// Panneau Paramètres → Dictée : modèle, réactivité, plus un test du micro. Ce
|
||||
// sont des réglages de SERVEUR (le modèle chargé appartient à la machine), donc
|
||||
// rien n'est gardé en localStorage : tout passe par /api/dictate/*.
|
||||
//
|
||||
// Ni langue ni matériel ici, et le moteur l'impose : Parakeet détecte la langue
|
||||
// lui-même, et le binaire livré est le build CPU. Afficher des sélecteurs qu'on
|
||||
// ne peut pas honorer serait pire que de ne rien afficher.
|
||||
let DIC_CFG = null;
|
||||
|
||||
async function loadDictateSettings(){
|
||||
const [cfg, modeles, gpus] = await Promise.all([
|
||||
const [cfg, modeles] = await Promise.all([
|
||||
jfetch('/api/dictate/config').then(r => r.json()).catch(()=>({})),
|
||||
jfetch('/api/dictate/models').then(r => r.json()).catch(()=>[]),
|
||||
jfetch('/api/vram').then(r => r.json()).catch(()=>[]),
|
||||
]);
|
||||
DIC_CFG = cfg || {};
|
||||
|
||||
// Matériel : « CPU seul » d'abord — c'est le choix qui marche partout, y
|
||||
// compris sur une image bâtie sans CUDA.
|
||||
const dev = document.getElementById('dic-device');
|
||||
dev.innerHTML = '';
|
||||
dev.appendChild(new Option('processeur seul', 'cpu'));
|
||||
(gpus||[]).forEach((g, i) => {
|
||||
const libre = Math.max(0, (g.total|0) - (g.used|0));
|
||||
dev.appendChild(new Option(`GPU ${i} — ${g.name} (${libre} Mo libres sur ${g.total|0})`, String(i)));
|
||||
});
|
||||
dev.value = cfg.device || 'cpu';
|
||||
|
||||
const mod = document.getElementById('dic-model');
|
||||
mod.innerHTML = '';
|
||||
(modeles||[]).forEach(m => {
|
||||
const mo = Math.round(m.octets / 1e6);
|
||||
// Dire ce qui est déjà là : sans ça, choisir un modèle absent ressemble à
|
||||
// un réglage instantané alors que c'est un téléchargement de 600 Mo.
|
||||
// un réglage instantané alors que c'est un téléchargement de ~500 Mo.
|
||||
// Et dire ce qu'il COMPREND : c'est le vrai critère de choix entre les deux
|
||||
// (v3 multilingue, v2 anglais seul), pas leur taille, quasi identique.
|
||||
const etat = m.present ? 'déjà téléchargé' : mo + ' Mo à télécharger';
|
||||
mod.appendChild(new Option(`${m.nom} — ${etat}, ~${m.vram_mo} Mo de mémoire`, m.id));
|
||||
mod.appendChild(new Option(`${m.nom} — ${m.langues} · ${etat}`, m.id));
|
||||
});
|
||||
mod.value = cfg.model || '';
|
||||
|
||||
document.getElementById('dic-lang').value = cfg.lang || 'fr';
|
||||
document.getElementById('dic-react').value = cfg.reactivity || 'moyen';
|
||||
refreshDictateState();
|
||||
}
|
||||
@@ -43,8 +35,6 @@ async function loadDictateSettings(){
|
||||
async function dictateSave(){
|
||||
const cfg = {
|
||||
model: document.getElementById('dic-model').value,
|
||||
lang: document.getElementById('dic-lang').value,
|
||||
device: document.getElementById('dic-device').value,
|
||||
reactivity: document.getElementById('dic-react').value,
|
||||
};
|
||||
const el = document.getElementById('dic-save-state');
|
||||
@@ -95,10 +85,9 @@ async function refreshDictateState(){
|
||||
const bouts = [];
|
||||
bouts.push(j.actif ? `moteur allumé depuis ${j.depuis_s||0} s` : 'moteur éteint (il démarre au premier clic sur le micro)');
|
||||
bouts.push(j.present ? `modèle ${j.modele} présent` : `modèle ${j.modele} ABSENT — à télécharger`);
|
||||
// note : le serveur nous dit quand il n'a pas pu respecter le matériel
|
||||
// demandé (image sans CUDA, par exemple). Le taire ferait croire que le GPU
|
||||
// choisi est utilisé.
|
||||
if(j.note) bouts.push('⚠ ' + j.note);
|
||||
// Le dire explicitement : sans ça, on cherche un réglage de carte qui
|
||||
// n'existe pas, ou on croit à une panne devant un GPU inactif.
|
||||
if(j.device === 'cpu') bouts.push('sur le processeur');
|
||||
if(j.dl && j.dl.running) bouts.push(`téléchargement ${j.dl.id} ${j.dl.pct||0} %`);
|
||||
el.textContent = bouts.join(' · ');
|
||||
}
|
||||
|
||||
@@ -1631,6 +1631,16 @@ html[data-files="1"] #files-btn{color:var(--accent)}
|
||||
/* --- Discussions ----------------------------------------------------- */
|
||||
/* La liste EST la barre latérale : titre à gauche, heure à droite, une ligne.
|
||||
Le reste (réglages) descend sous un unique repli. */
|
||||
/* Ligne du projet actif : posée au-dessus des discussions, qu'elle contient.
|
||||
Le sélecteur prend toute la largeur restante — un nom de projet doit être
|
||||
lisible en entier, c'est le repère qui dit dans quel chantier on écrit. */
|
||||
.projrow{display:flex;align-items:center;gap:6px;padding:10px 12px 8px}
|
||||
.projrow>select{flex:1;min-width:0;font:inherit;font-size:12.5px;color:var(--text);
|
||||
background:var(--panel);border:1px solid var(--border);border-radius:4px;padding:6px 9px}
|
||||
.projrow>select:focus{outline:none;border-color:var(--accent);box-shadow:0 0 0 3px var(--accent-bg)}
|
||||
/* Le « + » des sections est masqué par défaut et révélé par details[open] : hors
|
||||
d'un <details>, il faut le rendre visible explicitement. */
|
||||
.projrow>.preset-add{display:inline-block;margin:0}
|
||||
#conv-search{width:calc(100% - 24px);font:inherit;font-size:12.5px;color:var(--text);
|
||||
background:var(--panel);border:1px solid var(--border);border-radius:4px;
|
||||
padding:7px 11px;margin:0 12px 8px}
|
||||
|
||||
Reference in new issue
Block a user