mirror of
https://github.com/R0m1k3/Loki.git
synced 2026-10-12 01:37:06 +02:00
MichaelandClaude Opus 5.5
20375d0e4c
Deux reprises d'AJEAN 0.15.9, côté `loki serve`. PORT OCCUPÉ Un llama-server orphelin (un stop qui n'a pas tué, un relancement trop rapide) peut encore tenir le port quand le suivant démarre. Deux moteurs sur le même port se partagent alors les requêtes au hasard : VRAM saturée, réponses du mauvais modèle. waitPortFree tente une connexion TCP (fiable même en SO_REUSEADDR, là où un Listen de test réussirait), laisse 5 s à un moteur qu'on vient d'arrêter pour libérer, puis refuse avec un message qui dit quoi faire. argValue lit la DERNIÈRE occurrence de --port/--host, comme llama-server, puisque EXTRA_ARGS peut les surcharger. CACHE KV LENT llama.cpp CUDA, compilé avec ses options par défaut (FA_ALL_QUANTS=OFF), n'accélère en Flash-Attention que f16, bf16, q8_0 et q4_0 — et seulement à l'identique pour K et V. C'est le cas du moteur de l'image server-cuda et de ceux installés par OCI. q5_1 ou un couple mixte q8_0/q4_0 marchent mais sont reconvertis en f16 à chaque pas. L'amont ne prévient que pour son binaire précompilé ; chez nous tous les moteurs sont concernés, donc l'avertissement part toujours dans loki-engine.log. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>