feat: fin de phrase Silero, vision d'écran et actions locales (v2.3.0) (#13)

Écoute permanente
- Silero VAD dans le worker sherpa-onnx (vad.start/audio/stop) ; le renderer
  envoie des trames de 128 ms pendant la commande et reçoit le segment WAV
  complet (speech-start / segment). Repli sur le VAD énergétique si le modèle
  n'est pas installé ou si l'option est désactivée.
- Modèle « silero-vad » (0,6 Mo) dans le catalogue, section « Fin de phrase »
  dans Modèles locaux, réglage dans Paramètres → Micro.

Vision d'écran
- IPC system:screen-capture (desktopCapturer, JPEG 1600 px) ; bouton dans la
  barre de commande ; « regarde mon écran… » joint la capture à la question
  envoyée à Hermes (transport chat completions pour les images).

Actions locales
- IPC system:action à liste blanche : verrouiller la session, touches média
  (volume, mute, lecture, piste), ouvrir une application connue ou une URL
  http(s), presse-papiers, recherche de fichiers dans les dossiers utilisateur.
- Routeur d'intentions FR/EN exécuté avant Hermes (« coupe le son », « ouvre
  Spotify », « verrouille la session »…), résultat affiché et lu ; désactivable.

Correctif
- Chat completions : les premiers fragments SSE arrivés avant l'événement de
  démarrage étaient perdus (premier mot manquant) ; ils sont maintenant rejoués.

Tests : 26 tests unitaires (intentions locales ajoutées), e2e Electron sous
Xvfb avec les vrais modèles (Silero : un segment par phrase, 6,7 s d'audio
traités en 190 ms ; capture 109 ko reçue par Hermes ; intention locale
traitée sans Hermes).


Claude-Session: https://claude.ai/code/session_017Wn5VX9HNbJ7N54hR24u9Y

Co-authored-by: Claude <noreply@anthropic.com>

electron/voice/worker.ts

@@ -21,7 +21,10 @@ type Request =
   | { id: number; type: 'unload'; modelId?: string }
   | { id: number; type: 'kws.start'; model: ModelRef; keywordsFile: string; threshold: number; score: number }
   | { id: number; type: 'kws.audio'; pcm: string; sampleRate: number }
-  | { id: number; type: 'kws.stop' };
+  | { id: number; type: 'kws.stop' }
+  | { id: number; type: 'vad.start'; model: ModelRef; silenceMs: number; threshold: number; maxUtteranceSec: number }
+  | { id: number; type: 'vad.audio'; pcm: string; sampleRate: number }
+  | { id: number; type: 'vad.stop' };
 
 type Response = { id: number; ok: true; result: unknown } | { id: number; ok: false; error: string };
 
@@ -32,6 +35,16 @@ type Sherpa = {
     decode: (s: unknown) => void;
     getResult: (s: unknown) => { text: string; lang?: string };
   };
+  Vad: new (config: unknown, bufferSizeInSeconds: number) => {
+    acceptWaveform: (samples: Float32Array) => void;
+    isEmpty: () => boolean;
+    isDetected: () => boolean;
+    pop: () => void;
+    clear: () => void;
+    front: (enableExternalBuffer?: boolean) => { start: number; samples: Float32Array };
+    reset: () => void;
+    flush: () => void;
+  };
   KeywordSpotter: new (config: unknown) => {
     createStream: () => KwsStream;
     isReady: (s: KwsStream) => boolean;
@@ -50,6 +63,7 @@ type Sherpa = {
 type KwsStream = { acceptWaveform: (w: { sampleRate: number; samples: Float32Array }) => void };
 let sherpa: Sherpa | null = null;
 let kws: { spotter: InstanceType<Sherpa['KeywordSpotter']>; stream: KwsStream } | null = null;
+let vad: { detector: InstanceType<Sherpa['Vad']>; speaking: boolean; windowSize: number; carry: Float32Array } | null = null;
 let notify: ((message: unknown) => void) | null = null;
 let loadError: string | null = null;
 
@@ -275,9 +289,74 @@ function feedKws(pcmBase64: string, sampleRate: number): void {
   }
 }
 
+function startVad(model: ModelRef, silenceMs: number, threshold: number, maxUtteranceSec: number): void {
+  const s = loadSherpa();
+  const windowSize = 512;
+  const detector = new s.Vad(
+    {
+      sileroVad: {
+        model: path.join(model.dir, 'silero_vad.onnx'),
+        threshold: Math.max(0.1, Math.min(0.95, threshold)),
+        minSilenceDuration: Math.max(0.15, silenceMs / 1000),
+        minSpeechDuration: 0.2,
+        windowSize,
+        maxSpeechDuration: Math.max(3, maxUtteranceSec)
+      },
+      sampleRate: 16000,
+      numThreads: 1,
+      provider: 'cpu',
+      debug: 0
+    },
+    Math.max(10, maxUtteranceSec + 5)
+  );
+  vad = { detector, speaking: false, windowSize, carry: new Float32Array(0) };
+}
+
+function feedVad(pcmBase64: string, sampleRate: number): void {
+  if (!vad) return;
+  const bytes = Buffer.from(pcmBase64, 'base64');
+  const int16 = new Int16Array(bytes.buffer, bytes.byteOffset, Math.floor(bytes.byteLength / 2));
+  let samples: Float32Array = new Float32Array(int16.length);
+  for (let i = 0; i < int16.length; i++) samples[i] = int16[i] / 32768;
+  if (sampleRate !== 16000) samples = resampleTo16k(samples, sampleRate);
+  // Silero expects fixed windows: keep the remainder for the next frame.
+  const merged = new Float32Array(vad.carry.length + samples.length);
+  merged.set(vad.carry, 0);
+  merged.set(samples, vad.carry.length);
+  const usable = merged.length - (merged.length % vad.windowSize);
+  for (let i = 0; i < usable; i += vad.windowSize) {
+    vad.detector.acceptWaveform(merged.subarray(i, i + vad.windowSize));
+    const detected = vad.detector.isDetected();
+    if (detected && !vad.speaking) {
+      vad.speaking = true;
+      notify?.({ type: 'vad.event', event: { type: 'speech-start' } });
+    }
+    while (!vad.detector.isEmpty()) {
+      const segment = vad.detector.front(false);
+      vad.detector.pop();
+      vad.speaking = false;
+      const wav = encodeWav(segment.samples, 16000);
+      notify?.({
+        type: 'vad.event',
+        event: { type: 'segment', wav: Buffer.from(wav.buffer, wav.byteOffset, wav.byteLength).toString('base64'), durationSec: segment.samples.length / 16000 }
+      });
+    }
+  }
+  vad.carry = merged.slice(usable);
+}
+
 // ── request handling ───────────────────────────────────────────────────────
 function handle(req: Request): unknown {
   switch (req.type) {
+    case 'vad.start':
+      startVad(req.model, req.silenceMs, req.threshold, req.maxUtteranceSec);
+      return { ok: true };
+    case 'vad.audio':
+      feedVad(req.pcm, req.sampleRate);
+      return { ok: true };
+    case 'vad.stop':
+      vad = null;
+      return { ok: true };
     case 'kws.start':
       startKws(req.model, req.keywordsFile, req.threshold, req.score);
       return { ok: true };
@@ -331,6 +410,7 @@ function handle(req: Request): unknown {
         recognizers.clear();
         synthesizers.clear();
         kws = null;
+        vad = null;
       }
       return { ok: true };
     }