mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-15 19:29:16 +02:00
Compaction plus efficace : resume borne, reduction garantie, jauge immediate
- Resume borne et dense : max_tokens 700, consigne 250 mots max, plafond dur a 1500 caracteres, et surtout thinking DESACTIVE pour l'appel de resume (chat_template_kwargs enable_thinking:false) -> plus rapide, plus dense, plus de budget gaspille en <think> par un modele hybride. - Garantie de reduction : la compaction n'est acceptee que si elle enleve >=20% du contexte estime, sinon refusee -> fini le "compactage a chaque message sans reduire". Queue plus agressive (tailFrac 0.35 -> 0.25) : le contexte retombe plus bas et met plus longtemps a re-declencher. - Jauge de contexte : chute immediatement apres compaction (delta ctx_used emis aussitot) au lieu d'attendre la fin du tour.
This commit is contained in:
1 parent
7720877533
commit
dcbfcb36f9
4 files changed
+36
-11
No files matched your search
@@ -63,6 +63,7 @@ function handleDelta(d){
|
||||
if(d.compacting!==undefined){ const b=document.getElementById('compact-banner'); if(b) b.style.display = d.compacting ? 'flex' : 'none'; return; }
|
||||
if(d.compacted){ const b=document.getElementById('compact-banner'); if(b) b.style.display='none'; toast('contexte compacté — les vieux tours ont été résumés'); return; }
|
||||
if(d.compact_noop){ const b=document.getElementById('compact-banner'); if(b) b.style.display='none'; toast('rien à compacter (contexte déjà minimal)'); return; }
|
||||
if(d.ctx_used!==undefined){ setCtxUsed(d.ctx_used); return; }
|
||||
if(d.stats){ T.serverStats=d.stats;
|
||||
if(d.stats.prompt_tokens_total){ setCtxUsed((d.stats.prompt_tokens_total||0)+(d.stats.gen_tokens||0)); }
|
||||
if(T.contentEl||T.reasonEl) renderStats(T.contentEl||T.reasonEl, d.stats); return; }
|
||||
|
||||
Reference in new issue
Block a user