mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-17 04:10:04 +02:00
Avec LOKI_TUNE=rust (expérimental, Unix seulement), la façade sert /api/tune, /api/tune/status, /api/tune/cancel, /api/tune/apply et /api/tune/last, et déroule l'optimisation sans perte (rust/loki-rs/src/tune) : vrai moteur arrêté, essais composés à blanc puis lancés par les « loki serve » du Go (LOKI_TUNE_TRIAL), chacun dans son groupe de processus, mesurés par le bench complet à profondeur fixe, retenus au-delà du bruit ; vrai moteur relancé. Rien n'est écrit sans un clic : copie du preset, ou le preset lui-même — redémarrage, sonde, et ancienne version rétablie si elle échoue. - tune/core.rs : la partie pure (EXTRA_ARGS, réglages, essais de chaque étape, garde-fous, diff et réécriture du preset, score) ; - tune/lock.rs : le verrou tune.lock au format du Go, identité des processus comme procIdentity (la reprise du Go reconnaît la façade vivante, et écarte son verrou si elle meurt), ménage d'un verrou périmé (essai orphelin arrêté, application interrompue défaite) ; - tune/job.rs : routes, job, essais et application. Le verrou de génération reste celui du Go, pris par le bail du moteur au motif « tune » (refus de l'optimiseur pour les autres, stop du chat qui annule). Le Go prête /internal/v1/tune/context (bench, génération, jobs du mode code, état du moteur, télémétrie) et le démarrage ou l'arrêt du moteur sans le refus de l'optimiseur (service/action « os »). Hors Unix, la façade passe LOKI_TUNE vide au Go, qui garde l'optimiseur. serde_json lit désormais les flottants à l'arrondi exact (float_roundtrip), comme le Go. Parité : parity_tune_test.go tire du Go un journal (partie pure, contenu du verrou, résultat enregistré, vérification après application) rejoué par tests/tune_core.rs. tests/tune.rs déroule de vraies optimisations, le binaire de test jouant « loki serve » ; les tests du verrou du Go sont portés ; TestFacadeTune côté Go. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_016tcGfJWefW5kUGoC2wL8cv
236 lines
8.4 KiB
Rust
236 lines
8.4 KiB
Rust
use bytes::Bytes;
|
|
use futures_util::{SinkExt, StreamExt};
|
|
use http_body_util::{BodyExt, Empty, Full, StreamBody, combinators::BoxBody};
|
|
use hyper::body::{Frame, Incoming};
|
|
use hyper::{Request, Response, StatusCode, service::service_fn};
|
|
use hyper_util::client::legacy::Client;
|
|
use hyper_util::rt::{TokioExecutor, TokioIo};
|
|
use std::convert::Infallible;
|
|
use std::net::SocketAddr;
|
|
use std::time::{Duration, Instant};
|
|
use tokio::net::TcpListener;
|
|
use tokio::sync::oneshot;
|
|
use tokio_tungstenite::tungstenite::Message;
|
|
|
|
type B = BoxBody<Bytes, Infallible>;
|
|
|
|
/// Backend factice : /echo renvoie les en-têtes reçus, /sse émet un événement,
|
|
/// attend 500 ms, puis un second ; /post renvoie le corps reçu.
|
|
async fn backend() -> SocketAddr {
|
|
let l = TcpListener::bind("127.0.0.1:0").await.unwrap();
|
|
let addr = l.local_addr().unwrap();
|
|
tokio::spawn(async move {
|
|
loop {
|
|
let (s, _) = l.accept().await.unwrap();
|
|
tokio::spawn(async move {
|
|
let svc = service_fn(|req: Request<Incoming>| async move {
|
|
let resp: Response<B> = match req.uri().path() {
|
|
"/echo" => {
|
|
let mut lines: Vec<String> = req
|
|
.headers()
|
|
.iter()
|
|
.map(|(k, v)| format!("{}: {}", k, v.to_str().unwrap()))
|
|
.collect();
|
|
lines.push(format!("uri: {}", req.uri()));
|
|
Response::new(Full::new(Bytes::from(lines.join("\n"))).boxed())
|
|
}
|
|
"/post" => {
|
|
let body = req.into_body().collect().await.unwrap().to_bytes();
|
|
Response::new(Full::new(body).boxed())
|
|
}
|
|
"/sse" => {
|
|
let (tx, rx) = tokio::sync::mpsc::channel::<Bytes>(4);
|
|
tokio::spawn(async move {
|
|
tx.send(Bytes::from_static(b"data: un\n\n")).await.unwrap();
|
|
tokio::time::sleep(Duration::from_millis(500)).await;
|
|
let _ = tx.send(Bytes::from_static(b"data: deux\n\n")).await;
|
|
});
|
|
let stream = futures_util::stream::unfold(rx, |mut rx| async move {
|
|
rx.recv()
|
|
.await
|
|
.map(|b| (Ok::<_, Infallible>(Frame::data(b)), rx))
|
|
});
|
|
let mut r = Response::new(BodyExt::boxed(StreamBody::new(stream)));
|
|
r.headers_mut()
|
|
.insert("content-type", "text/event-stream".parse().unwrap());
|
|
r
|
|
}
|
|
_ => Response::new(Empty::new().boxed()),
|
|
};
|
|
Ok::<_, Infallible>(resp)
|
|
});
|
|
let _ = hyper::server::conn::http1::Builder::new()
|
|
.serve_connection(TokioIo::new(s), svc)
|
|
.await;
|
|
});
|
|
}
|
|
});
|
|
addr
|
|
}
|
|
|
|
async fn ws_backend() -> SocketAddr {
|
|
let l = TcpListener::bind("127.0.0.1:0").await.unwrap();
|
|
let addr = l.local_addr().unwrap();
|
|
tokio::spawn(async move {
|
|
while let Ok((s, _)) = l.accept().await {
|
|
tokio::spawn(async move {
|
|
let mut ws = tokio_tungstenite::accept_async(s).await.unwrap();
|
|
while let Some(Ok(m)) = ws.next().await {
|
|
if m.is_text() {
|
|
ws.send(m).await.unwrap();
|
|
}
|
|
}
|
|
});
|
|
}
|
|
});
|
|
addr
|
|
}
|
|
|
|
/// Lance la façade devant `backend`, rend son adresse.
|
|
async fn facade(backend: SocketAddr) -> (SocketAddr, oneshot::Sender<()>) {
|
|
let l = TcpListener::bind("127.0.0.1:0").await.unwrap();
|
|
let addr = l.local_addr().unwrap();
|
|
let (tx, rx) = oneshot::channel::<()>();
|
|
let cfg = loki_rs::proxy::Config {
|
|
backend,
|
|
internal_token: "jeton-de-test".into(),
|
|
host_env: Default::default(),
|
|
engine: loki_rs::engine::Paths {
|
|
home: std::env::temp_dir(),
|
|
service: "loki-engine".into(),
|
|
},
|
|
chat: None,
|
|
models: None,
|
|
dictate: None,
|
|
settings: false,
|
|
files: None,
|
|
push: None,
|
|
mem: None,
|
|
presets: false,
|
|
engine_ctl: None,
|
|
system: None,
|
|
projects: false,
|
|
mcp: None,
|
|
update: false,
|
|
backends: None,
|
|
engineimg: None,
|
|
strata: None,
|
|
tasks: None,
|
|
bench: None,
|
|
tune: None,
|
|
};
|
|
tokio::spawn(loki_rs::proxy::serve(l, cfg, async move {
|
|
let _ = rx.await;
|
|
}));
|
|
(addr, tx)
|
|
}
|
|
|
|
fn client() -> Client<hyper_util::client::legacy::connect::HttpConnector, Full<Bytes>> {
|
|
Client::builder(TokioExecutor::new()).build_http()
|
|
}
|
|
|
|
#[tokio::test]
|
|
async fn transmet_les_en_tetes_et_efface_x_loki_via() {
|
|
let (f, _stop) = facade(backend().await).await;
|
|
let req = Request::get(format!("http://{f}/echo?a=1"))
|
|
.header("host", "loki.exemple.fr")
|
|
.header("authorization", "Bearer secret")
|
|
.header("origin", "https://loki.exemple.fr")
|
|
.header("x-forwarded-proto", "https")
|
|
.header("sec-fetch-site", "same-origin")
|
|
.header("x-loki-via", "tunnel")
|
|
.body(Full::new(Bytes::new()))
|
|
.unwrap();
|
|
let resp = client().request(req).await.unwrap();
|
|
assert_eq!(resp.status(), StatusCode::OK);
|
|
let body = String::from_utf8(
|
|
resp.into_body()
|
|
.collect()
|
|
.await
|
|
.unwrap()
|
|
.to_bytes()
|
|
.to_vec(),
|
|
)
|
|
.unwrap();
|
|
for want in [
|
|
"host: loki.exemple.fr",
|
|
"authorization: Bearer secret",
|
|
"origin: https://loki.exemple.fr",
|
|
"x-forwarded-proto: https",
|
|
"sec-fetch-site: same-origin",
|
|
"uri: /echo?a=1",
|
|
] {
|
|
assert!(
|
|
body.lines().any(|l| l == want),
|
|
"manque « {want} » dans :\n{body}"
|
|
);
|
|
}
|
|
assert!(
|
|
!body.contains("x-loki-via"),
|
|
"X-Loki-Via a traversé :\n{body}"
|
|
);
|
|
}
|
|
|
|
#[tokio::test]
|
|
async fn relaie_le_corps() {
|
|
let (f, _stop) = facade(backend().await).await;
|
|
let req = Request::post(format!("http://{f}/post"))
|
|
.body(Full::new(Bytes::from_static(b"{\"x\":1}")))
|
|
.unwrap();
|
|
let resp = client().request(req).await.unwrap();
|
|
let body = resp.into_body().collect().await.unwrap().to_bytes();
|
|
assert_eq!(&body[..], b"{\"x\":1}");
|
|
}
|
|
|
|
#[tokio::test]
|
|
async fn sse_sans_tampon() {
|
|
let (f, _stop) = facade(backend().await).await;
|
|
let t0 = Instant::now();
|
|
let req = Request::get(format!("http://{f}/sse"))
|
|
.body(Full::new(Bytes::new()))
|
|
.unwrap();
|
|
let mut body = client().request(req).await.unwrap().into_body();
|
|
let first = body.frame().await.unwrap().unwrap().into_data().unwrap();
|
|
let elapsed = t0.elapsed();
|
|
assert_eq!(&first[..], b"data: un\n\n");
|
|
assert!(
|
|
elapsed < Duration::from_millis(300),
|
|
"premier événement reçu après {elapsed:?}"
|
|
);
|
|
let second = body.frame().await.unwrap().unwrap().into_data().unwrap();
|
|
assert_eq!(&second[..], b"data: deux\n\n");
|
|
}
|
|
|
|
#[tokio::test]
|
|
async fn websocket_relaye() {
|
|
let (f, _stop) = facade(ws_backend().await).await;
|
|
let (mut ws, resp) = tokio_tungstenite::connect_async(format!("ws://{f}/api/node/ws"))
|
|
.await
|
|
.unwrap();
|
|
assert_eq!(resp.status(), StatusCode::SWITCHING_PROTOCOLS);
|
|
ws.send(Message::text("bonjour")).await.unwrap();
|
|
let got = tokio::time::timeout(Duration::from_secs(5), ws.next())
|
|
.await
|
|
.unwrap()
|
|
.unwrap()
|
|
.unwrap();
|
|
assert_eq!(got.into_text().unwrap().as_str(), "bonjour");
|
|
}
|
|
|
|
#[tokio::test]
|
|
async fn backend_absent_donne_502() {
|
|
// Port réservé puis libéré : personne n'y écoute.
|
|
let dead = TcpListener::bind("127.0.0.1:0")
|
|
.await
|
|
.unwrap()
|
|
.local_addr()
|
|
.unwrap();
|
|
let (f, _stop) = facade(dead).await;
|
|
// Route relayée au Go (« / » est servie par la façade elle-même).
|
|
let req = Request::get(format!("http://{f}/api/relayee-au-go"))
|
|
.body(Full::new(Bytes::new()))
|
|
.unwrap();
|
|
let resp = client().request(req).await.unwrap();
|
|
assert_eq!(resp.status(), StatusCode::BAD_GATEWAY);
|
|
}
|