mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-22 14:38:12 +02:00
Lot 8 : téléchargements de modèles tenus par la façade (LOKI_DOWNLOADS=rust)
La façade Rust mène les téléchargements de .gguf quand LOKI_DOWNLOADS=rust (expérimental ; le Go reste le défaut) : sonde, lancement, suivi, annulation, avec les mêmes contrats et la même mécanique que le Go (tranches rapatriées en entier, plages d'octets parallèles, reprise, place disque vérifiée sur le total, jeton réservé aux hôtes Hugging Face, refus traduits, .part vidés au démarrage). Côté Go : facade_downloads.go remet ces routes à la façade quand elles arrivent par le tunnel du relais, et le Go ne vide plus les .part qu'elle mène. Parité : journal des fonctions pures tiré du Go (parity_dl_test.go) et rejoué en Rust ; téléchargements de bout en bout contre un faux Hugging Face (tests/downloads.rs). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_016tcGfJWefW5kUGoC2wL8cv
This commit is contained in:
20 files changed
+2820
-17
No files matched your search
@@ -118,9 +118,17 @@ fn serve() -> ExitCode {
|
||||
// sait (il remet alors à la façade le trafic de chat du tunnel) et
|
||||
// connaît son adresse locale.
|
||||
let chat_rust = chat_held_by_facade();
|
||||
// LOKI_DOWNLOADS=rust : les téléchargements de modèles aussi (le Go
|
||||
// remet alors leurs routes du tunnel et ne vide plus les .part).
|
||||
let downloads_rust = downloads_held_by_facade();
|
||||
let mut env = vec![(auth::INTERNAL_ENV.to_string(), token.clone())];
|
||||
if chat_rust {
|
||||
env.push(("LOKI_CHAT".into(), "rust".into()));
|
||||
}
|
||||
if downloads_rust {
|
||||
env.push(("LOKI_DOWNLOADS".into(), "rust".into()));
|
||||
}
|
||||
if chat_rust || downloads_rust {
|
||||
env.push(("LOKI_FACADE_ADDR".into(), format!("127.0.0.1:{web_port}")));
|
||||
}
|
||||
let sup = child::Supervisor::spawn(go_bin, go_port, env);
|
||||
@@ -153,6 +161,11 @@ fn serve() -> ExitCode {
|
||||
} else {
|
||||
None
|
||||
};
|
||||
let downloads = if downloads_rust {
|
||||
Some(start_downloads(backend, &token, &engine_paths.home).await)
|
||||
} else {
|
||||
None
|
||||
};
|
||||
|
||||
let addr = SocketAddr::from(([0, 0, 0, 0], web_port));
|
||||
let listener = match tokio::net::TcpListener::bind(addr).await {
|
||||
@@ -170,6 +183,7 @@ fn serve() -> ExitCode {
|
||||
host_env: auth::HostEnv::from_env(),
|
||||
engine: engine_paths,
|
||||
chat,
|
||||
downloads,
|
||||
};
|
||||
let res = proxy::serve(listener, cfg, shutdown_signal()).await;
|
||||
eprintln!("[loki-rs] arrêt demandé — arrêt du serveur Go");
|
||||
@@ -189,6 +203,37 @@ fn chat_held_by_facade() -> bool {
|
||||
std::env::var("LOKI_CHAT").is_ok_and(|v| v.trim().eq_ignore_ascii_case("rust"))
|
||||
}
|
||||
|
||||
/// `LOKI_DOWNLOADS=rust` : téléchargements de modèles tenus par la façade.
|
||||
fn downloads_held_by_facade() -> bool {
|
||||
std::env::var("LOKI_DOWNLOADS").is_ok_and(|v| v.trim().eq_ignore_ascii_case("rust"))
|
||||
}
|
||||
|
||||
/// Les `.part` d'un téléchargement tué ne reprendront jamais : vidés au
|
||||
/// démarrage (le Go ne le fait plus quand la façade les tient).
|
||||
async fn start_downloads(
|
||||
backend: SocketAddr,
|
||||
token: &str,
|
||||
home: &std::path::Path,
|
||||
) -> std::sync::Arc<loki_rs::downloads::Downloads> {
|
||||
use loki_rs::{downloads, gguf, store};
|
||||
let st = store::Store::new(backend, token.to_string());
|
||||
let stored = gguf::parse_stored_model_dirs(
|
||||
st.get(store::BK_STATE, gguf::STATE_MODEL_DIRS_KEY)
|
||||
.await
|
||||
.ok()
|
||||
.flatten()
|
||||
.as_deref(),
|
||||
);
|
||||
let dirs = gguf::model_dirs(
|
||||
home,
|
||||
&stored,
|
||||
std::env::var(gguf::MODEL_DIRS_ENV).ok().as_deref(),
|
||||
);
|
||||
let _ = tokio::task::spawn_blocking(move || downloads::clean_stale_part_files(&dirs)).await;
|
||||
eprintln!("[loki-rs] téléchargements de modèles tenus par la façade (LOKI_DOWNLOADS=rust)");
|
||||
std::sync::Arc::new(downloads::Downloads::new())
|
||||
}
|
||||
|
||||
/// Le Go garde-t-il la conversation ? (quelques essais : il vient de démarrer)
|
||||
async fn go_keeps_chat(backend: SocketAddr, token: &str) -> Result<Option<String>, String> {
|
||||
let store = loki_rs::store::Store::new(backend, token.to_string());
|
||||
|
||||
Reference in new issue
Block a user