{ "machines": [ { "Help": "", "Model": "/m/dense.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "ModelBytes": 17179869184, "RAMMiB": 65536, "RAMAvailMiB": 49152, "VRAMMiB": 16311, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 0, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/moe.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 2, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3moe", "BlockCount": 48, "NextN": 0, "ContextLength": 262144, "ExpertCount": 128, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 2048, "HeadCount": 32, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 579 }, "ModelBytes": 23622320128, "RAMMiB": 32768, "RAMAvailMiB": 20000, "VRAMMiB": 28599, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 0, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": [ { "ID": "CUDA0", "TotalMiB": 16311 }, { "ID": "CUDA1", "TotalMiB": 12288 } ] }, { "Help": "", "Model": "/m/inconnu.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 0, "ArgEnv": null, "UserEnv": null, "GGUF": null, "ModelBytes": 0, "RAMMiB": 0, "RAMAvailMiB": 0, "VRAMMiB": 0, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 0, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/hybrid.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "ModelBytes": 21474836480, "RAMMiB": 24576, "RAMAvailMiB": 6000, "VRAMMiB": 24576, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 9000, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/hybrid.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 2, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "ModelBytes": 16106127360, "RAMMiB": 131072, "RAMAvailMiB": 100000, "VRAMMiB": 28599, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "/data/slots", "EngineBuild": 12000, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": [ { "ID": "CUDA0", "TotalMiB": 16311 }, { "ID": "CUDA1", "TotalMiB": 12288 } ] }, { "Help": "", "Model": "/m/ds.gguf", "MMProj": "", "APIKey": "sk-loki-x", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 0, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "deepseek2", "BlockCount": 61, "NextN": 0, "ContextLength": 0, "ExpertCount": 256, "KeyLen": 192, "ValLen": 128, "HeadCountKV": 128, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "ModelBytes": 214748364800, "RAMMiB": 262144, "RAMAvailMiB": 200000, "VRAMMiB": 0, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 0, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": [ { "ID": "Vulkan0", "TotalMiB": 8000 }, { "ID": "CUDA0", "TotalMiB": 8000 } ] }, { "Help": "", "Model": "/m/layers.gguf", "MMProj": "/m/mmproj.gguf", "APIKey": "", "CPU": { "N": 4, "Engine": 8, "Why": "cpuset du conteneur, 4 cœurs physiques permis sur 8" }, "LaunchQueues": "", "GPUs": 0, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "gemma3", "BlockCount": 6, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 64, "ValLen": 64, "HeadCountKV": 2, "HeadCountKVLayers": [ 2, 2, 0, 2, 2, 0 ], "FullAttnInterval": 0, "Hybrid": true, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 4, "SSMInner": 512, "SSMState": 16, "SSMGroups": 1, "HasNextNTensor": false, "TensorCount": 0 }, "ModelBytes": 3221225472, "RAMMiB": 16384, "RAMAvailMiB": 4096, "VRAMMiB": 0, "UnifiedMem": true, "EngineVRAMMiB": 0, "SlotDir": "/data/slots", "EngineBuild": 0, "Draft": "", "DraftErr": "", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/dense.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 2, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "ModelBytes": 32212254720, "RAMMiB": 32768, "RAMAvailMiB": 16000, "VRAMMiB": 24000, "UnifiedMem": false, "EngineVRAMMiB": 24000, "SlotDir": "", "EngineBuild": 11500, "Draft": "/m/mtp-head.gguf", "DraftErr": "", "DraftGGUF": { "Version": 0, "Arch": "qwen35", "BlockCount": 1, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 0, "ValLen": 0, "HeadCountKV": 0, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": true, "TensorCount": 0 }, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": [ { "ID": "CUDA0", "TotalMiB": 16311 }, { "ID": "CUDA1", "TotalMiB": 12288 } ] }, { "Help": "", "Model": "/m/dense.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "ModelBytes": 17179869184, "RAMMiB": 65536, "RAMAvailMiB": 49152, "VRAMMiB": 16311, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 12000, "Draft": "/m/eagle.gguf", "DraftErr": "", "DraftGGUF": { "Version": 0, "Arch": "eagle3", "BlockCount": 1, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 0, "ValLen": 0, "HeadCountKV": 0, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/dense.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "ModelBytes": 17179869184, "RAMMiB": 65536, "RAMAvailMiB": 49152, "VRAMMiB": 16311, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 12000, "Draft": "/m/small.gguf", "DraftErr": "", "DraftGGUF": { "Version": 0, "Arch": "qwen3", "BlockCount": 28, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null }, { "Help": "", "Model": "/m/hybrid.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "ModelBytes": 16106127360, "RAMMiB": 65536, "RAMAvailMiB": 49152, "VRAMMiB": 24576, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 12000, "Draft": "/m/hybrid.gguf", "DraftErr": "", "DraftGGUF": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "DraftIsModel": true, "SpecAutoBlocked": "le dernier lancement avec cette configuration n'a jamais répondu", "SplitDevs": null }, { "Help": "", "Model": "/m/dense.gguf", "MMProj": "", "APIKey": "", "CPU": { "N": 0, "Engine": 0, "Why": "" }, "LaunchQueues": "", "GPUs": 1, "ArgEnv": null, "UserEnv": null, "GGUF": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "ModelBytes": 17179869184, "RAMMiB": 65536, "RAMAvailMiB": 49152, "VRAMMiB": 16311, "UnifiedMem": false, "EngineVRAMMiB": 0, "SlotDir": "", "EngineBuild": 12000, "Draft": "", "DraftErr": "stat /m/absent.gguf: no such file or directory", "DraftGGUF": null, "DraftIsModel": false, "SpecAutoBlocked": "", "SplitDevs": null } ], "presets": [ {}, { "BATCH": "4096", "CTX": "65536", "HOST": "127.0.0.1", "NGL": "999", "PORT": "8081", "UBATCH": "2048" }, { "NGL": "auto" }, { "NGL": "40" }, { "NGL": "all" }, { "NGL": " 999 " }, { "THREADS": "8", "THREADS_BATCH": "4" }, { "THREADS": "abc", "THREADS_BATCH": "-2" }, { "THREADS": "0" }, { "KV_TYPE": "q8_0" }, { "KV_TYPE_K": "q4_0", "KV_TYPE_V": "f16" }, { "KV_TYPE": "bf16" }, { "KV_TYPE": "q5_1" }, { "REASONING": "on" }, { "REASONING": "off" }, { "REASONING": "auto", "REASONING_BUDGET": "2048" }, { "REASONING": "deepseek" }, { "REASONING_PRESERVE": "on" }, { "REASONING_PRESERVE": "off" }, { "REASONING_PRESERVE": "peut-être" }, { "CACHE_RAM": "auto" }, { "CACHE_RAM": "4096" }, { "CACHE_RAM": "0" }, { "CACHE_RAM": "-1" }, { "CACHE_RAM": "beaucoup" }, { "CACHE_ISOLATE": "off" }, { "CACHE_ISOLATE": "on", "CACHE_RAM": "0" }, { "SIDE_SLOT": "on" }, { "PARALLEL": "3", "SIDE_SLOT": "on" }, { "CTX": "0", "SIDE_SLOT": "on" }, { "CTX": "8192", "KV_TYPE": "q8_0", "SIDE_SLOT": "on" }, { "SPLIT_MODE": "tensor" }, { "CTX": "16384", "SPLIT_MODE": "tensor" }, { "SPLIT_MODE": "bizarre" }, { "SPLIT_MODE": "layer" }, { "KV_TYPE": "q8_0", "SPLIT_MODE": "tensor" }, { "NGL": "20", "SPLIT_MODE": "tensor" }, { "SPEC": "auto" }, { "SPEC": "mtp" }, { "SPEC": "ngram" }, { "SPEC": "mtp+ngram" }, { "SPEC": "ngram+mtp" }, { "SPEC": "turbo" }, { "MODEL_DRAFT": "mtp-head.gguf", "SPEC": "off" }, { "MODEL_DRAFT": "mtp-head.gguf", "SPEC": "mtp", "SPEC_N_MAX": "4" }, { "SPEC": "mtp", "SPEC_N_MAX": "99", "SPEC_SAMPLING": "probabilistic" }, { "SPEC": "auto", "SPEC_SAMPLING": "probabilistic" }, { "SPEC": "mtp", "SPEC_SAMPLING": "aléatoire" }, { "MODEL_DRAFT": "x.gguf", "SPEC": "ngram", "SPEC_N_MAX": "3" }, { "MODEL_DRAFT": "small.gguf", "SPEC": "auto" }, { "MODEL_DRAFT": "small.gguf", "SPEC": "mtp+ngram" }, { "CUDA_LAUNCH_QUEUES": "off" }, { "CUDA_LAUNCH_QUEUES": "2x" }, { "CUDA_LAUNCH_QUEUES": "8x" }, { "CUDA_LAUNCH_QUEUES": "auto" }, { "CUDA_VISIBLE_DEVICES": "1,0" }, { "FIT_TARGET": "1024,3072" }, { "FIT_TARGET": "512" }, { "FIT_TARGET": "1024,,3072" }, { "FIT_TARGET": "1,2,3,4,5,6,7,8,9" }, { "CTX": "0", "FIT_TARGET": "2048/4096" }, { "FIT_TARGET": "2048", "NGL": "30" }, { "OP_OFFLOAD_MIN_BATCH": "128" }, { "OP_OFFLOAD_MIN_BATCH": "0" }, { "CUDA_GRAPH_OPT": "on" }, { "CUDA_GRAPH_OPT": "oui" }, { "CUDA_GRAPH_OPT": "off" }, { "CTX_CHECKPOINTS": "8" }, { "CTX_CHECKPOINTS": "beaucoup" }, { "CKPT_MIN_STEP": "1024" }, { "CKPT_MIN_STEP": "0" }, { "SLOT_PERSIST": "on" }, { "HOST": "127.0.0.1", "SLOT_PERSIST": "on" }, { "HOST": "127.0.0.1", "SLOT_PERSIST": "on", "SPEC": "mtp" }, { "EXTRA_ARGS": "--load-mode none", "LOAD_GUARD": "off" }, { "EXTRA_ARGS": "--mlock --no-mmap" }, { "EXTRA_ARGS": "--mlock" }, { "EXTRA_ARGS": "--no-mmap" }, { "EXTRA_ARGS": "--mmap" }, { "EXTRA_ARGS": "--load-mode dio" }, { "EXTRA_ARGS": "--load-mode=mlock" }, { "EXTRA_ARGS": "-ngl 30 --parallel 4" }, { "EXTRA_ARGS": "-t 6 -tb 3" }, { "EXTRA_ARGS": "-Cb 0xff --poll-batch 1" }, { "EXTRA_ARGS": "--prio-batch 2", "THREADS": "6" }, { "EXTRA_ARGS": "--cache-reuse 256 --context-shift" }, { "EXTRA_ARGS": "-ctk q8_0 -ctv q8_0" }, { "EXTRA_ARGS": "-ot exps=CPU" }, { "EXTRA_ARGS": "-ot 'blk\\.(1|2)\\.ffn_.*_exps=CPU' -ub 512" }, { "EXTRA_ARGS": "--n-cpu-moe 20" }, { "EXTRA_ARGS": "--cpu-moe" }, { "EXTRA_ARGS": "-sm row" }, { "EXTRA_ARGS": "-ts 1,1" }, { "EXTRA_ARGS": "-dev CUDA0,CUDA1" }, { "EXTRA_ARGS": "-dev Vulkan0" }, { "EXTRA_ARGS": "--fit off" }, { "EXTRA_ARGS": "--mmproj /m/x.gguf" }, { "EXTRA_ARGS": "--spec-synth-len 4" }, { "EXTRA_ARGS": "--slot-save-path /x" }, { "EXTRA_ARGS": "-c 0" }, { "EXTRA_ARGS": "--host 127.0.0.1 --port 9000" }, { "EXTRA_ARGS": "--mirostat 2", "SPEC": "mtp", "SPEC_SAMPLING": "probabilistic" }, { "EXTRA_ARGS": "--chat-template-kwargs '{\"preserve_reasoning\":true}'", "REASONING_PRESERVE": "on" }, { "EXTRA_ARGS": "--spec-type ngram-mod", "SPEC": "auto" }, { "EXTRA_ARGS": "--spec-draft-n-max 8", "SPEC": "ngram" }, { "CUDA_GRAPH_OPT": "on", "EXTRA_ARGS": "-ot attn=CUDA1" }, { "EXTRA_ARGS": "-fa off", "SPLIT_MODE": "tensor" }, { "EXTRA_ARGS": "-nkvo" }, { "EXTRA_ARGS": "--no-context-shift" }, { "EXTRA_ARGS": "-c 8192 -np 2", "SIDE_SLOT": "on" }, { "EXTERNAL": "1", "SIDE_SLOT": "on", "SPLIT_MODE": "tensor" }, { "CACHE_RAM": "auto", "CTX": "40000", "KV_TYPE": "q4_0", "MMPROJ": "x", "NGL": "999", "SPEC": "auto" } ], "helps": [ "-ngl, --gpu-layers, --n-gpu-layers N max. number of layers to store in VRAM, either an exact number, 'auto', or 'all' (default: auto)\n--reasoning [on|off|auto] --reasoning-budget N --load-mode {auto,mmap,none,mlock,mmap+mlock,dio}\n-fit, --fit [on|off] -fitt, --fit-target MiB0,MiB1 --no-kv-unified -cram, --cache-ram N --slot-save-path PATH\n-ctxcp, --ctx-checkpoints N -cms, --checkpoint-min-step N --reasoning-preserve, --no-reasoning-preserve\n--spec-type {none,draft-simple,draft-mtp,ngram-mod} --spec-draft-n-max N --spec-draft-sampling {greedy,probabilistic}\n--spec-ngram-mod-n-match N -sm, --split-mode {none,layer,row,tensor} --context-shift, --no-context-shift\n", "-ngl, --gpu-layers, --n-gpu-layers N number of layers to store in VRAM\n--mlock --no-mmap --no-context-shift --cache-ram N\n", "" ], "arg_envs": [ {}, { "LLAMA_ARG_CACHE_TYPE_K": "q8_0" }, { "LLAMA_ARG_NO_KV_OFFLOAD": "1" }, { "LLAMA_ARG_N_CPU_MOE": "10" }, { "LLAMA_ARG_CACHE_RAM": "1024" }, { "LLAMA_ARG_CONTEXT_SHIFT": "on" }, { "LLAMA_ARG_FIT": "off" }, { "LLAMA_ARG_SPLIT_MODE": "row" }, { "LLAMA_ARG_DEVICE": "CUDA0" }, { "LLAMA_ARG_MLOCK": "1", "LLAMA_ARG_NO_MMAP": "1" }, { "LLAMA_ARG_NO_CONTEXT_SHIFT": "true" }, { "LLAMA_ARG_SPEC_SYNTH_LEN": "3" }, { "LLAMA_ARG_TENSOR_SPLIT": "1,1" } ], "user_envs": [ {}, { "GGML_CUDA_ALLREDUCE": "nccl", "GGML_CUDA_GRAPH_OPT": "1", "GGML_OP_OFFLOAD_MIN_BATCH": "64" } ], "cases": [ { "m": 0, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 0, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 0, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 0, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 0, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 0, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 0, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 0, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 0, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 0, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 0, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 0, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 0, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 0, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 0, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 0, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 0, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 0, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 0, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 0, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 0, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 0, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 1088 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 0, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 0, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 0, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 0, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 0, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 0, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 0, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 0, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 0, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 0, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 0, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 0, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 0, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 0, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 0, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 0, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 0, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 0, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 0, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 0, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 0, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 0, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 0, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 0, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 0, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 0, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 0, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 0, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 0, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 0, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 0, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 0, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 0, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 0, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 0, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 0, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 0, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 0, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 0, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 0, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 0, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 0, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 0, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 0, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 0, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 0, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 0, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 0, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 0, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 0, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 0, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 0, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 0, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 0, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 0, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 0, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 0, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 0, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 0, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 0, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 0, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 0, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 0, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 0, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 0, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 0, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 0, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 0, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 0, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 0, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 0, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 0, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 1, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 1, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 1, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 1, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 1, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 1, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 3072 Mio d'état dépassent 90 % de 28599 Mio) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT : 2 slots de 8192 jetons (-c 16384, --no-kv-unified), ~408 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~25600 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet" ] }, { "m": 1, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~24064 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet" ] }, { "m": 1, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 1, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 1, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 1, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 1, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 1, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 1, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 1, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 1, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 1, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 1, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 1, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_SCALE_LAUNCH_QUEUES": "4x", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 1, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 1, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 1, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 1, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 1, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 1, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 1, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 1, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 1, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 1, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 1, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 1, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 1, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 1, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 1, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 1, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 1, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": [ "experts placés à la main (-ot experts=CPU) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 1, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "experts placés à la main (-ot experts=CPU) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 1, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "experts placés à la main (--n-cpu-moe 20) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 1, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": [ "experts placés à la main (--cpu-moe) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 1, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 1, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 1, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 1, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 1, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 1, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 1, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 1, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": null }, { "m": 1, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 1, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 2, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 2, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 2, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 2, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 2, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 2, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 2, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 2, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 2, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 2, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 2, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 2, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 2, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 2, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 2, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 2, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 2, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 2, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé" ] }, { "m": 2, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 2, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 2, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (métadonnées ou taille du modèle illisibles) : découpe par couches, comme sans la clé" ] }, { "m": 2, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (métadonnées ou taille du modèle illisibles) : découpe par couches, comme sans la clé" ] }, { "m": 2, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 2, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (métadonnées ou taille du modèle illisibles) : découpe par couches, comme sans la clé" ] }, { "m": 2, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 2, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (métadonnées du modèle illisibles) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 2, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (métadonnées du modèle illisibles) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 2, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 2, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 2, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 2, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 2, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 2, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 2, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 2, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 2, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 2, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 2, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 2, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 2, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 2, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 2, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 2, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 2, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 2, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 2, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 2, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 2, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 2, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 2, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 2, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 2, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 2, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 2, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 2, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 2, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 2, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 2, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 2, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 2, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 2, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 2, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 2, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 2, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 2, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 2, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 2, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 2, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 2, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 2, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 2, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 2, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 2, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 2, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 2, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 2, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 2, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 2, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 2, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 2, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 2, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 2, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 2, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 2, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 2, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 2, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 2, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 2, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 2, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 2198 Mio d'état dépassent 90 % de 24576 Mio) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT : 2 slots de 8192 jetons (-c 16384, --no-kv-unified), ~422 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=auto : moteur b9000, b11009 au moins — sans décodage spéculatif" ] }, { "m": 3, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 3, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 3, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 3, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 3, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "probabilistic" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_N_MAX=99 illisible (1 à 64 jetons) : défaut du moteur" ] }, { "m": 3, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=auto : moteur b9000, b11009 au moins — sans décodage spéculatif" ] }, { "m": 3, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=aléatoire illisible (greedy ou probabilistic) : greedy" ] }, { "m": 3, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 3, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": [ "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse." ] }, { "m": 3, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 3, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 3, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 3, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 3, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy", "--mirostat", "2" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=probabilistic refusé avec --mirostat 2 (cet échantillonneur avancerait sur des jetons rejetés) : greedy" ] }, { "m": 3, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 3, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 3, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 3, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=auto : moteur b9000, b11009 au moins — sans décodage spéculatif", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--cache-ram", "13981", "--slot-save-path", "/data/slots" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache de prompts : --cache-ram 13981 (RAM hôte, copie exacte de l'état, jamais la VRAM ; besoin estimé 13981 Mio, plafond 39321 Mio). CACHE_RAM= pour fixer, 0 pour couper." ] }, { "m": 4, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 4, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 4, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 4, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 4, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 4, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT : 2 slots de 32768 jetons (-c 65536, --no-kv-unified), ~2198 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place" ] }, { "m": 4, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT : 2 slots de 8192 jetons (-c 16384, --no-kv-unified), ~422 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~17558 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet ; modèle hybride : état récurrent et points de reprise répartis entre cartes, non validés en amont" ] }, { "m": 4, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~16534 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet ; modèle hybride : état récurrent et points de reprise répartis entre cartes, non validés en amont" ] }, { "m": 4, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto → tête MTP : sortie inchangée (chaque jeton est vérifié par le modèle), ~1-2 Go de VRAM en plus. Mesure le prefill ; SPEC=off pour couper." ] }, { "m": 4, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 4, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 4, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 4, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 4, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "probabilistic" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_N_MAX=99 illisible (1 à 64 jetons) : défaut du moteur" ] }, { "m": 4, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto → tête MTP : sortie inchangée (chaque jeton est vérifié par le modèle), ~1-2 Go de VRAM en plus. Mesure le prefill ; SPEC=off pour couper.", "SPEC_SAMPLING=probabilistic ignoré avec SPEC=auto (SPEC=mtp pour le choisir) : greedy" ] }, { "m": 4, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=aléatoire illisible (greedy ou probabilistic) : greedy" ] }, { "m": 4, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 4, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 4, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 4, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_SCALE_LAUNCH_QUEUES": "4x", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 4, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 4, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 4, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 4, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 4, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 4, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 4, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 4, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 4, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 4, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 4, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (moteur joignable par d'autres sans clé d'API (HOST=127.0.0.1 ou une clé d'API)) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 4, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/data/slots" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/data/slots", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (décodage spéculatif : la sauvegarde du moteur ne garde pas l'état du brouillon) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 4, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 4, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 4, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 4, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 4, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 4, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 4, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 4, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 4, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 4, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 4, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/data/slots", "--host", "127.0.0.1", "--port", "9000" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy", "--mirostat", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=probabilistic refusé avec --mirostat 2 (cet échantillonneur avancerait sur des jetons rejetés) : greedy" ] }, { "m": 4, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 4, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 4, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 4, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": null }, { "m": 4, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 4, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "SPEC=auto → tête MTP : sortie inchangée (chaque jeton est vérifié par le modèle), ~1-2 Go de VRAM en plus. Mesure le prefill ; SPEC=off pour couper.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 5, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 5, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 5, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 5, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 5, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 5, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 5, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 5, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 5, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (architecture deepseek2 exclue du mode tensor) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (architecture deepseek2 exclue du mode tensor) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (architecture deepseek2 exclue du mode tensor) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 5, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 5, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 5, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 5, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 5, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 5, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 5, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 5, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 5, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 5, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 5, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 5, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 5, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 5, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 5, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 5, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 5, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 5, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 5, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 5, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 5, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 5, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 5, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 5, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 5, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 5, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 5, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 5, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 5, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 5, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 5, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 5, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 5, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 5, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 5, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 5, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 5, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 5, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 5, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--api-key", "sk-loki-x", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 5, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 5, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 5, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 5, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 5, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ot", "exps=CPU" ], "env": {}, "notes": [ "experts placés à la main (-ot experts=CPU) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 5, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "experts placés à la main (-ot experts=CPU) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 5, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "experts placés à la main (--n-cpu-moe 20) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 5, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--cpu-moe" ], "env": {}, "notes": [ "experts placés à la main (--cpu-moe) : --fit ne les place pas ; UBATCH plus grand = tampon de calcul plus gros sur chaque GPU : monte --n-cpu-moe d'abord, ou passe au placement auto (--fit, « Dupliquer en placement auto » dans l'éditeur)" ] }, { "m": 5, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-sm", "row" ], "env": {}, "notes": null }, { "m": 5, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 5, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 5, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 5, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--fit", "off" ], "env": {}, "notes": null }, { "m": 5, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 5, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 5, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 5, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-c", "0" ], "env": {}, "notes": null }, { "m": 5, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 5, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 5, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 5, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 5, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 5, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 5, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-nkvo" ], "env": {}, "notes": null }, { "m": 5, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 5, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "--api-key", "sk-loki-x", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "65536", "-t", "4", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/data/slots" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 6, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 6, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": null }, { "m": 6, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 6, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--reasoning", "off" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--reasoning-preserve" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--no-reasoning-preserve" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 6, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cache-ram", "4096" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cache-ram", "0" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cache-ram", "-1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 6, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cache-ram", "0" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé" ] }, { "m": 6, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 6, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "0", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 6, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "8192", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "16384", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 6, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 6, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 6, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 6, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 6, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 6, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 6, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 6, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 6, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 6, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 6, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 6, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 6, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 6, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 6, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 6, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "0", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 6, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 6, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--ctx-checkpoints", "8" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 6, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 6, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SLOT_PERSIST refusé (moteur joignable par d'autres sans clé d'API (HOST=127.0.0.1 ou une clé d'API)) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 6, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/data/slots" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/data/slots" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SLOT_PERSIST refusé (décodage spéculatif : la sauvegarde du moteur ne garde pas l'état du brouillon) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 6, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "none" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "mlock" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "mmap+mlock" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "none" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "mmap" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "dio" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode=mlock" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--mmproj", "/m/mmproj.gguf", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 6, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 6, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir (vision chargée : llama.cpp l'ignore de toute façon).", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet (vision chargée : llama.cpp l'ignore de toute façon)." ] }, { "m": 6, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ot", "exps=CPU" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--cpu-moe" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-sm", "row" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ts", "1,1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-dev", "Vulkan0" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--fit", "off" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-synth-len", "4" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 6, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/x" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-c", "0" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/data/slots", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--mirostat", "2" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 6, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 6, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 6, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 6, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-nkvo" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--no-context-shift" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 6, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 6, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 6, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "40000", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 7, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 7, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 7, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 7, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 7, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 7, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 24000 Mio) : un seul slot, comme sans la clé" ] }, { "m": 7, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 7, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 7, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 1088 Mio d'état dépassent 90 % de 24000 Mio) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (VRAM insuffisante sans --fit : ~38912 Mio (poids + cache de 32768 jetons) pour 28599 Mio sur 2 cartes — CTX n'est jamais réduit d'office) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (VRAM insuffisante sans --fit : ~34816 Mio (poids + cache de 16384 jetons) pour 28599 Mio sur 2 cartes — CTX n'est jamais réduit d'office) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 7, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 7, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 7, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 7, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 7, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 7, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 7, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-md", "/m/mtp-head.gguf", "--spec-type", "draft-mtp", "--spec-draft-n-max", "4", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 7, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 7, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 7, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 7, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-md", "/m/mtp-head.gguf", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto → tête MTP : sortie inchangée (chaque jeton est vérifié par le modèle), ~1-2 Go de VRAM en plus. Mesure le prefill ; SPEC=off pour couper." ] }, { "m": 7, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-md", "/m/mtp-head.gguf", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)" ] }, { "m": 7, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 7, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 7, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_SCALE_LAUNCH_QUEUES": "4x", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 7, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 7, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 7, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 7, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 7, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 7, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 7, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 7, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 7, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 7, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 7, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 7, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 7, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 7, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 7, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 7, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 7, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 7, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 7, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 7, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 7, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 7, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 7, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 7, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 7, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 7, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 7, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 7, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 7, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": null }, { "m": 7, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 7, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 7, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 7, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 7, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 8, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 8, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 8, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 8, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 8, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 8, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 8, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 8, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 8, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 8, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 8, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 8, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 8, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 8, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 8, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 8, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 8, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 8, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 8, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 8, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 8, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 1088 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 8, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 8, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 8, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 8, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 8, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 8, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT est une tête eagle3, pas un modèle brouillon : règle -md et --spec-type dans EXTRA_ARGS — sans décodage spéculatif" ] }, { "m": 8, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 8, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 8, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 8, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT est une tête eagle3, pas un modèle brouillon : règle -md et --spec-type dans EXTRA_ARGS — sans décodage spéculatif" ] }, { "m": 8, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT est une tête eagle3, pas un modèle brouillon : règle -md et --spec-type dans EXTRA_ARGS) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 8, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 8, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 8, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 8, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 8, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 8, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 8, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 8, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 8, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 8, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 8, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 8, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 8, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 8, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 8, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 8, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 8, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 8, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 8, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 8, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 8, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 8, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 8, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 8, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 8, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 8, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 8, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 8, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 8, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 8, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 8, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 8, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 8, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 8, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 8, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 8, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 8, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 8, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 8, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 8, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 8, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 8, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 8, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 8, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 8, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 8, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 8, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 8, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 8, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 8, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 8, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 8, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 8, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 8, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 8, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 9, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 9, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 9, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 9, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 9, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 9, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 9, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 9, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 9, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 9, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 9, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 9, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 9, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 9, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 9, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 9, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 9, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 9, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 1088 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 9, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 9, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 9, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 9, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 9, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 9, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 9, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 9, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 9, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 9, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-md", "/m/small.gguf", "--spec-type", "draft-simple", "--spec-draft-n-max", "4", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp → brouillon small.gguf imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 9, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 9, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 9, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 9, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-md", "/m/small.gguf", "--spec-type", "draft-simple", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=auto → brouillon small.gguf : sortie inchangée (chaque jeton est vérifié par le modèle), ~1-2 Go de VRAM en plus. Mesure le prefill ; SPEC=off pour couper." ] }, { "m": 9, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT n'est pas une tête MTP) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 9, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 9, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 9, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 9, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 9, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 9, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 9, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 9, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 9, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 9, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 9, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 9, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 9, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 9, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 9, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 9, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 9, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 9, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 9, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 9, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 9, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 9, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 9, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 9, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 9, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 9, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 9, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 9, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 9, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 9, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 9, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 9, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 9, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 9, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 9, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 9, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 9, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 9, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 9, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 9, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 9, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 9, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 9, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 9, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 9, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 9, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 9, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 9, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 9, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 9, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 9, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 9, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 9, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 9, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--cache-ram", "13981" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache de prompts : --cache-ram 13981 (RAM hôte, copie exacte de l'état, jamais la VRAM ; besoin estimé 13981 Mio, plafond 19660 Mio). CACHE_RAM= pour fixer, 0 pour couper." ] }, { "m": 10, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 10, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 10, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 10, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 10, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 10, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 10, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 10, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 10, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 10, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 10, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 10, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 10, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 10, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 10, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 10, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 10, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 10, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT : 2 slots de 32768 jetons (-c 65536, --no-kv-unified), ~2198 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place" ] }, { "m": 10, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 10, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 10, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT : 2 slots de 8192 jetons (-c 16384, --no-kv-unified), ~422 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 10, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 10, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 10, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 10, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : le dernier lancement avec cette configuration n'a jamais répondu — sans décodage spéculatif" ] }, { "m": 10, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 10, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 10, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 10, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 10, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 10, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT est le modèle principal lui-même : ignoré — la tête MTP intégrée sert de brouillon sans recharger les poids (retire MODEL_DRAFT du preset)" ] }, { "m": 10, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-n-max", "4", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "MODEL_DRAFT est le modèle principal lui-même : ignoré — la tête MTP intégrée sert de brouillon sans recharger les poids (retire MODEL_DRAFT du preset)", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 10, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "probabilistic" ], "env": {}, "notes": [ "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_N_MAX=99 illisible (1 à 64 jetons) : défaut du moteur" ] }, { "m": 10, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : le dernier lancement avec cette configuration n'a jamais répondu — sans décodage spéculatif" ] }, { "m": 10, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=aléatoire illisible (greedy ou probabilistic) : greedy" ] }, { "m": 10, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "MODEL_DRAFT est le modèle principal lui-même : ignoré — la tête MTP intégrée sert de brouillon sans recharger les poids (retire MODEL_DRAFT du preset)", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 10, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT est le modèle principal lui-même : ignoré — la tête MTP intégrée sert de brouillon sans recharger les poids (retire MODEL_DRAFT du preset)", "SPEC=auto : le dernier lancement avec cette configuration n'a jamais répondu — sans décodage spéculatif" ] }, { "m": 10, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "MODEL_DRAFT est le modèle principal lui-même : ignoré — la tête MTP intégrée sert de brouillon sans recharger les poids (retire MODEL_DRAFT du preset)", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 10, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 10, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 10, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 10, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 10, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 10, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 10, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 10, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 10, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 10, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM" ] }, { "m": 10, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 10, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 10, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 10, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 10, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 10, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 10, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 10, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 10, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus" ] }, { "m": 10, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 10, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 10, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 10, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 10, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 10, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 10, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 10, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 10, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 10, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 10, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 10, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 10, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 10, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 10, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 10, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 10, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 10, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 10, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 10, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 10, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 10, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 10, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 10, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 10, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 10, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 10, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp", "--spec-draft-sampling", "greedy", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus", "SPEC_SAMPLING=probabilistic refusé avec --mirostat 2 (cet échantillonneur avancerait sur des jetons rejetés) : greedy" ] }, { "m": 10, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 10, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 10, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 10, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": null }, { "m": 10, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 10, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 10, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 10, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 10, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 10, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "SPEC=auto : le dernier lancement avec cette configuration n'a jamais répondu — sans décodage spéculatif", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 0, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 1, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 11, "c": 2, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 11, "c": 3, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 11, "c": 4, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 11, "c": 5, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 11, "c": 6, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 7, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 11, "c": 8, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 9, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 10, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 11, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 12, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 13, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 11, "c": 14, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "off" ], "env": {}, "notes": null }, { "m": 11, "c": 15, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 11, "c": 16, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 11, "c": 17, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--reasoning-preserve" ], "env": {}, "notes": null }, { "m": 11, "c": 18, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-reasoning-preserve" ], "env": {}, "notes": null }, { "m": 11, "c": 19, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 11, "c": 20, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 21, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "4096" ], "env": {}, "notes": null }, { "m": 11, "c": 22, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 11, "c": 23, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "-1" ], "env": {}, "notes": null }, { "m": 11, "c": 24, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 11, "c": 25, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 26, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-ram", "0" ], "env": {}, "notes": null }, { "m": 11, "c": 27, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 28, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 29, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (CTX doit être un nombre de jetons explicite) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 30, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 1088 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 31, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 32, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 33, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 34, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 35, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/q8_0 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 36, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (NGL=20 : le mode tensor veut toutes les couches sur les cartes (all)) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 37, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 38, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 11, "c": 39, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 11, "c": 40, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 11, "c": 41, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 11, "c": 42, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 11, "c": 43, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 11, "c": 44, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable (stat /m/absent.gguf: no such file or directory) — sans décodage spéculatif" ] }, { "m": 11, "c": 45, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 11, "c": 46, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 47, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 11, "c": 48, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "MODEL_DRAFT ignoré avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "SPEC_N_MAX et SPEC_SAMPLING ignorés : les n-grammes n'ont pas de brouillon à régler" ] }, { "m": 11, "c": 49, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable (stat /m/absent.gguf: no such file or directory) — sans décodage spéculatif" ] }, { "m": 11, "c": 50, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (MODEL_DRAFT=small.gguf introuvable (stat /m/absent.gguf: no such file or directory)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 11, "c": 51, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 52, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 11, "c": 53, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 11, "c": 54, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 55, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 11, "c": 56, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024,3072" ], "env": {}, "notes": [ "--fit-target 1024,3072 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal" ] }, { "m": 11, "c": 57, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 11, "c": 58, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 11, "c": 59, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 11, "c": 60, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : contexte « 0 » non fixé — --fit pourrait le réduire pour tenir ; donne un CTX chiffré" ] }, { "m": 11, "c": 61, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : --fit inactif (couches GPU fixées à 30), la marge ne servirait à rien" ] }, { "m": 11, "c": 62, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 63, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 11, "c": 64, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 11, "c": 65, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 11, "c": 66, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 67, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--ctx-checkpoints", "8" ], "env": {}, "notes": null }, { "m": 11, "c": 68, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 11, "c": 69, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 11, "c": 70, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 11, "c": 71, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 11, "c": 72, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 11, "c": 73, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (dossier des slots indisponible) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 11, "c": 74, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 11, "c": 75, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mlock" ], "env": {}, "notes": null }, { "m": 11, "c": 76, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap+mlock" ], "env": {}, "notes": null }, { "m": 11, "c": 77, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 11, "c": 78, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "mmap" ], "env": {}, "notes": null }, { "m": 11, "c": 79, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "dio" ], "env": {}, "notes": null }, { "m": 11, "c": 80, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode=mlock" ], "env": {}, "notes": null }, { "m": 11, "c": 81, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 11, "c": 82, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 11, "c": 83, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 11, "c": 84, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 11, "c": 85, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 11, "c": 86, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 11, "c": 87, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 11, "c": 88, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 11, "c": 89, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 11, "c": 90, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 11, "c": 91, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-sm", "row" ], "env": {}, "notes": null }, { "m": 11, "c": 92, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 11, "c": 93, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 11, "c": 94, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 11, "c": 95, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit", "off" ], "env": {}, "notes": null }, { "m": 11, "c": 96, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 11, "c": 97, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 11, "c": 98, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 11, "c": 99, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-c", "0" ], "env": {}, "notes": null }, { "m": 11, "c": 100, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 11, "c": 101, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif" ] }, { "m": 11, "c": 102, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "--chat-template-kwargs fixe déjà preserve_reasoning : REASONING_PRESERVE ignoré" ] }, { "m": 11, "c": 103, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 11, "c": 104, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : --spec-draft-n-max dans EXTRA_ARGS (brouillon réglé à la main) — sans décodage spéculatif" ] }, { "m": 11, "c": 105, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 11, "c": 106, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (Flash Attention coupée (-fa off) : le mode tensor l'exige) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 107, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-nkvo" ], "env": {}, "notes": null }, { "m": 11, "c": 108, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 11, "c": 109, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "auto", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 110, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 111, "h": 0, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 0, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 0, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 0, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 1, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 1, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 1, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "999", "--cache-ram", "13981" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache de prompts : --cache-ram 13981 (RAM hôte, copie exacte de l'état, jamais la VRAM ; besoin estimé 13981 Mio, plafond 39321 Mio). CACHE_RAM= pour fixer, 0 pour couper.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 2, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 2, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": {}, "notes": null }, { "m": 4, "c": 2, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 3, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 3, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": null }, { "m": 4, "c": 3, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "40" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 4, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 4, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": {}, "notes": null }, { "m": 4, "c": 4, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 5, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 5, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 5, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 6, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 6, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 6, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "8", "-tb", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 7, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 7, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique" ] }, { "m": 4, "c": 7, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "THREADS=abc ignoré (pas un nombre de threads ≥ 0) → automatique", "THREADS_BATCH=-2 ignoré (pas un nombre de threads ≥ 0) → automatique", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 8, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 8, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 8, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 9, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 9, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 9, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 10, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 10, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "f16" ], "env": {}, "notes": [ "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 10, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "f16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q4_0/f16 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 11, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 11, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "bf16", "-ctv", "bf16" ], "env": {}, "notes": [ "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 11, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "bf16", "-ctv", "bf16" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV bf16/bf16 (KV_TYPE) : numérique différente de f16 (mantisse plus courte) — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 12, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 12, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": {}, "notes": [ "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 12, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q5_1", "-ctv", "q5_1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q5_1/q5_1 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 13, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 13, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 4, "c": 13, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "on", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 14, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning : impossible de désactiver le raisonnement", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 14, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning : impossible de désactiver le raisonnement" ] }, { "m": 4, "c": 14, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --reasoning : impossible de désactiver le raisonnement", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 15, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 15, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": {}, "notes": null }, { "m": 4, "c": 15, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "auto", "--reasoning-budget", "2048" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 16, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 16, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": {}, "notes": null }, { "m": 4, "c": 16, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--reasoning", "deepseek", "--reasoning-budget", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 17, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 17, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré" ] }, { "m": 4, "c": 17, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 18, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 18, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré" ] }, { "m": 4, "c": 18, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 19, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 19, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré" ] }, { "m": 4, "c": 19, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "REASONING_PRESERVE=peut-être illisible (on ou off) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 20, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 20, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 20, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 21, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "4096" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 21, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --cache-ram : CACHE_RAM ignoré" ] }, { "m": 4, "c": 21, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "4096" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 22, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "0" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 22, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --cache-ram : CACHE_RAM ignoré" ] }, { "m": 4, "c": 22, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 23, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "-1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 23, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --cache-ram : CACHE_RAM ignoré" ] }, { "m": 4, "c": 23, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "-1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 24, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 24, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré" ] }, { "m": 4, "c": 24, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CACHE_RAM=beaucoup illisible (un nombre de Mio, -1, 0 ou auto) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 25, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 25, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 25, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 26, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "0" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 26, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --cache-ram : CACHE_RAM ignoré" ] }, { "m": 4, "c": 26, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-ram", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 27, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 27, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 27, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 28, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 28, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 28, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "3", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (PARALLEL=3 (SIDE_SLOT ouvre exactement 2 slots)) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 29, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 29, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 29, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 30, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 30, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 30, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "8192", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (ce moteur ne connaît pas --no-kv-unified) : un seul slot, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 31, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 31, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 31, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 32, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 32, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 32, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "16384", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 33, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 33, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 33, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (SPLIT_MODE=bizarre illisible (tensor ou off)) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 34, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 34, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 34, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 35, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 35, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 35, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 36, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 36, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 36, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "20" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 37, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 37, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 37, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 38, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 38, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 38, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 39, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 39, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 39, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 40, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 40, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 40, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 41, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 41, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 41, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 42, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 42, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif" ] }, { "m": 4, "c": 42, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=turbo illisible (off, auto, mtp, ngram ou mtp+ngram) : sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 43, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 43, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)" ] }, { "m": 4, "c": 43, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "MODEL_DRAFT ignoré : SPEC=off (auto ou mtp pour s'en servir)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 44, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 44, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif" ] }, { "m": 4, "c": 44, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : MODEL_DRAFT=mtp-head.gguf introuvable — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 45, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 45, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 45, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 46, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 46, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 46, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 47, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 47, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 47, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 48, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 48, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 48, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 49, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 49, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif" ] }, { "m": 4, "c": 49, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : MODEL_DRAFT=small.gguf introuvable — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 50, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 50, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 50, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 51, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 51, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 51, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 52, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 52, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)" ] }, { "m": 4, "c": 52, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "2x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=2x (CUDA_LAUNCH_QUEUES)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 53, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 53, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique" ] }, { "m": 4, "c": 53, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_LAUNCH_QUEUES=8x ignoré (0.25x, 0.5x, 2x, 4x ou off) → automatique", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 54, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 54, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 54, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 55, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 55, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": null }, { "m": 4, "c": 55, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_DEVICE_ORDER": "PCI_BUS_ID", "CUDA_SCALE_LAUNCH_QUEUES": "4x", "CUDA_VISIBLE_DEVICES": "1,0" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 56, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1024,3072 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 56, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1024,3072 ignoré : ce moteur ne connaît pas --fit-target" ] }, { "m": 4, "c": 56, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1024,3072 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 57, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 57, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : ce moteur ne connaît pas --fit-target" ] }, { "m": 4, "c": 57, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=512 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 58, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 58, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 4, "c": 58, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1024,,3072 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 59, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 59, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)" ] }, { "m": 4, "c": 59, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=1,2,3,4,5,6,7,8,9 ignoré : des Mio par carte, ex. 1024,3072 (8 valeurs au plus)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 60, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 60, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "FIT_TARGET=2048/4096 ignoré : ce moteur ne connaît pas --fit-target" ] }, { "m": 4, "c": 60, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "FIT_TARGET=2048/4096 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 61, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 61, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : ce moteur ne connaît pas --fit-target" ] }, { "m": 4, "c": 61, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "30" ], "env": {}, "notes": [ "FIT_TARGET=2048 ignoré : ce moteur ne connaît pas --fit-target", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 62, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 62, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 62, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_OP_OFFLOAD_MIN_BATCH": "128" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_OP_OFFLOAD_MIN_BATCH=128 (OP_OFFLOAD_MIN_BATCH) : lots de moins de 128 jetons calculés sur CPU pour les poids restés en RAM", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 63, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 63, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "OP_OFFLOAD_MIN_BATCH=0 ignoré : un nombre de jetons, ex. 128" ] }, { "m": 4, "c": 63, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 64, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 64, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre" ] }, { "m": 4, "c": 64, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x", "GGML_CUDA_GRAPH_OPT": "1" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "GGML_CUDA_GRAPH_OPT=1 (CUDA_GRAPH_OPT, expérimental) — si le moteur s'arrête sur un GGML_ASSERT, CUDA_GRAPH_OPT=off puis redémarre", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 65, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 65, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 4, "c": 65, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 66, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 66, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": null }, { "m": 4, "c": 66, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 67, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --ctx-checkpoints : CTX_CHECKPOINTS ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 67, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --ctx-checkpoints : CTX_CHECKPOINTS ignoré" ] }, { "m": 4, "c": 67, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --ctx-checkpoints : CTX_CHECKPOINTS ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 68, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 68, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré" ] }, { "m": 4, "c": 68, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CTX_CHECKPOINTS=beaucoup illisible (un nombre de points de reprise par slot, ≥ 0) : ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 69, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --checkpoint-min-step : CKPT_MIN_STEP ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 69, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --checkpoint-min-step : CKPT_MIN_STEP ignoré" ] }, { "m": 4, "c": 69, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --checkpoint-min-step : CKPT_MIN_STEP ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 70, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 70, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur" ] }, { "m": 4, "c": 70, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CKPT_MIN_STEP=0 refusé (un nombre de jetons > 0 ; 0 laisserait le moteur jeter le point de reprise du début de la conversation) : défaut du moteur", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 71, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 71, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 4, "c": 71, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 72, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 72, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset" ] }, { "m": 4, "c": 72, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 73, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 73, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 73, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "127.0.0.1", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SLOT_PERSIST refusé (ce moteur ne connaît pas --slot-save-path) : l'état du slot ne sera pas gardé à la bascule de preset", "SPEC=mtp : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 74, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 74, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": {}, "notes": null }, { "m": 4, "c": 74, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 75, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 75, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": {}, "notes": null }, { "m": 4, "c": 75, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 76, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 76, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock" ], "env": {}, "notes": null }, { "m": 4, "c": 76, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 77, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 77, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": {}, "notes": null }, { "m": 4, "c": 77, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 78, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmap" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 78, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmap" ], "env": {}, "notes": null }, { "m": 4, "c": 78, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 79, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --load-mode dio (DirectIO) : chargement par défaut", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 79, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "ce moteur ne connaît pas --load-mode dio (DirectIO) : chargement par défaut" ] }, { "m": 4, "c": 79, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "ce moteur ne connaît pas --load-mode dio (DirectIO) : chargement par défaut", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 80, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 80, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": {}, "notes": null }, { "m": 4, "c": 80, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mlock", "--no-mmap" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 81, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 81, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": null }, { "m": 4, "c": 81, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "30", "--parallel", "4" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 82, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-t", "6", "-tb", "3" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 82, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-t", "6", "-tb", "3" ], "env": {}, "notes": null }, { "m": 4, "c": 82, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-t", "6", "-tb", "3" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 83, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 83, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-Cb", "0xff", "--poll-batch", "1" ], "env": {}, "notes": [ "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre" ] }, { "m": 4, "c": 83, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-tb", "0", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-Cb", "0xff", "--poll-batch", "1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "EXTRA_ARGS règle le CPU du batch (-Cb, --poll-batch…) : -tb 0 posé pour que llama.cpp le garde (tous les threads logiques) ; THREADS_BATCH pour choisir le nombre", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 84, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--prio-batch", "2" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 84, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 4, "c": 84, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 85, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 2, "c": 85, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-reuse", "256", "--context-shift" ], "env": {}, "notes": [ "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 4, "c": 85, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cache-reuse", "256", "--context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (EXTRA_ARGS) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir.", "avertissement : --cache-reuse 256 (EXTRA_ARGS) — réutilise des morceaux de cache calculés sous un autre préfixe : les sorties ne sont plus exactement celles d'un calcul complet." ] }, { "m": 0, "c": 86, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 86, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 86, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (défini par EXTRA_ARGS) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 87, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "exps=CPU" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 87, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "exps=CPU" ], "env": {}, "notes": null }, { "m": 4, "c": 87, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "exps=CPU" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 88, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 88, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": null }, { "m": 4, "c": 88, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "blk\\.(1|2)\\.ffn_.*_exps=CPU", "-ub", "512" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 89, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 89, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--n-cpu-moe", "20" ], "env": {}, "notes": null }, { "m": 4, "c": 89, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--n-cpu-moe", "20" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 90, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cpu-moe" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 90, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cpu-moe" ], "env": {}, "notes": null }, { "m": 4, "c": 90, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--cpu-moe" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 91, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-sm", "row" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 91, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-sm", "row" ], "env": {}, "notes": null }, { "m": 4, "c": 91, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-sm", "row" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 92, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ts", "1,1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 92, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 4, "c": 92, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 93, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 93, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 4, "c": 93, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 94, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "Vulkan0" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 94, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "Vulkan0" ], "env": {}, "notes": null }, { "m": 4, "c": 94, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-dev", "Vulkan0" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 95, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--fit", "off" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 95, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--fit", "off" ], "env": {}, "notes": null }, { "m": 4, "c": 95, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--fit", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 96, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir (vision chargée : llama.cpp l'ignore de toute façon). --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 96, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmproj", "/m/x.gguf" ], "env": {}, "notes": null }, { "m": 4, "c": 96, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mmproj", "/m/x.gguf" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir (vision chargée : llama.cpp l'ignore de toute façon). --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 97, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche.", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 2, "c": 97, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-synth-len", "4" ], "env": {}, "notes": [ "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 4, "c": 97, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-synth-len", "4" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche.", "avertissement : --spec-synth-len — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 0, "c": 98, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--slot-save-path", "/x" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 98, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--slot-save-path", "/x" ], "env": {}, "notes": null }, { "m": 4, "c": 98, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--slot-save-path", "/x" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 99, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-c", "0" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 99, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-c", "0" ], "env": {}, "notes": null }, { "m": 4, "c": 99, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-c", "0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 100, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 100, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--host", "127.0.0.1", "--port", "9000" ], "env": {}, "notes": null }, { "m": 4, "c": 100, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--host", "127.0.0.1", "--port", "9000" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 101, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf) — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 101, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mirostat", "2" ], "env": {}, "notes": [ "SPEC=mtp : métadonnées du modèle illisibles — sans décodage spéculatif" ] }, { "m": 4, "c": 101, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--mirostat", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 102, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 102, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": {}, "notes": [ "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré" ] }, { "m": 4, "c": 102, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--chat-template-kwargs", "{\"preserve_reasoning\":true}" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "ce moteur ne connaît pas --reasoning-preserve : REASONING_PRESERVE ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 103, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 103, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-type", "ngram-mod" ], "env": {}, "notes": [ "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré" ] }, { "m": 4, "c": 103, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-type", "ngram-mod" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "décodage spéculatif déjà réglé dans EXTRA_ARGS ou LLAMA_ARG_* : SPEC ignoré", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 104, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 104, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-draft-n-max", "8" ], "env": {}, "notes": [ "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif" ] }, { "m": 4, "c": 104, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--spec-draft-n-max", "8" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram : ce moteur ne connaît pas --spec-ngram-mod-n-match — sans décodage spéculatif", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 105, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 105, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT ignoré : -ot sur l'attention peut séparer Q, K et V d'une couche entre cartes" ] }, { "m": 4, "c": 105, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ot", "attn=CUDA1" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 106, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 106, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-fa", "off" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 106, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-fa", "off" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (ce moteur ne propose pas -sm tensor) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 107, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-nkvo" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 107, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-nkvo" ], "env": {}, "notes": null }, { "m": 4, "c": 107, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-nkvo" ], "env": {}, "notes": [ "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 108, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 2, "c": 108, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-context-shift" ], "env": {}, "notes": null }, { "m": 4, "c": 108, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "--no-context-shift" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 0, "c": 109, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "999", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 109, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "999", "-c", "8192", "-np", "2" ], "env": {}, "notes": [ "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 109, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "-ngl", "999", "-c", "8192", "-np", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (-c est réglé dans EXTRA_ARGS) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 110, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 110, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 110, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (preset externe) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (preset externe) : un seul slot, comme sans la clé", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 0, "c": 111, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 2, "c": 111, "h": 2, "e": 0, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 111, "h": 1, "e": 0, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "40000", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "999", "-ctk", "q4_0", "-ctv", "q4_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=auto : ce moteur ne connaît pas draft-mtp — sans décodage spéculatif", "cache KV q4_0/q4_0 (KV_TYPE) : perte mesurable par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : ce llama-server ancien glisse le contexte par défaut — contexte plein, il jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir. --no-context-shift dans EXTRA_ARGS l'en empêche." ] }, { "m": 1, "c": 0, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 1, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 9, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 20, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 27, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT : 2 slots de 32768 jetons (-c 65536, --no-kv-unified), ~1718 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 31, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV q8_0/f16 : le mode tensor n'accepte que f16, bf16 ou f32 (jamais réécrit d'office : la VRAM changerait)) : découpe par couches, comme sans la clé", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 37, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : métadonnées du modèle illisibles — sans décodage spéculatif", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 39, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 40, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 57, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 65, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 69, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 77, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--load-mode", "none" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 1, "c": 84, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 9, "c": 92, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": [ "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 93, "h": 0, "e": 1, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/f16 (défini par LLAMA_ARG_CACHE_TYPE_K/V) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 0, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 3, "c": 1, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 11, "c": 9, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 10, "c": 20, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 5, "c": 27, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé" ] }, { "m": 9, "c": 31, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cache KV sur CPU) : découpe par couches, comme sans la clé" ] }, { "m": 3, "c": 37, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=auto : moteur b9000, b11009 au moins — sans décodage spéculatif" ] }, { "m": 5, "c": 39, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPEC=ngram : cache KV sur CPU : un lot de vérification de 65 jetons atteint GGML_OP_OFFLOAD_MIN_BATCH (32) et recopierait ces poids vers le GPU à chaque brouillon — OP_OFFLOAD_MIN_BATCH=128 pour l'essayer, à mesurer — sans décodage spéculatif" ] }, { "m": 6, "c": 40, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=mtp+ngram : cache KV sur CPU : un lot de vérification de 65 jetons atteint GGML_OP_OFFLOAD_MIN_BATCH (64) et recopierait ces poids vers le GPU à chaque brouillon — OP_OFFLOAD_MIN_BATCH=128 pour l'essayer, à mesurer — sans décodage spéculatif" ] }, { "m": 11, "c": 57, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 7, "c": 65, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 11, "c": 69, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 7, "c": 77, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 2, "c": 84, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 10, "c": 92, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 11, "c": 93, "h": 0, "e": 2, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": {}, "notes": null }, { "m": 3, "c": 0, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 4, "c": 1, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--slot-save-path", "/data/slots" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 0, "c": 9, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel. Repasser en f16 demande plus de VRAM, et le placement fixé par -ot/--n-cpu-moe empêche --fit de compenser : il faudrait sans doute relever --n-cpu-moe." ] }, { "m": 11, "c": 20, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 6, "c": 27, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé" ] }, { "m": 10, "c": 31, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (couches --n-cpu-moe sur CPU : le mode tensor met tout sur les cartes) : découpe par couches, comme sans la clé" ] }, { "m": 4, "c": 37, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : placement manuel (couches --n-cpu-moe sur CPU) — --fit ne compte pas la VRAM du brouillon — sans décodage spéculatif" ] }, { "m": 6, "c": 39, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "SPEC=ngram : couches --n-cpu-moe sur CPU : un lot de vérification de 65 jetons atteint GGML_OP_OFFLOAD_MIN_BATCH (32) et recopierait ces poids vers le GPU à chaque brouillon — OP_OFFLOAD_MIN_BATCH=128 pour l'essayer, à mesurer — sans décodage spéculatif" ] }, { "m": 7, "c": 40, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=mtp+ngram : couches --n-cpu-moe sur CPU : un lot de vérification de 65 jetons atteint GGML_OP_OFFLOAD_MIN_BATCH (32) et recopierait ces poids vers le GPU à chaque brouillon — OP_OFFLOAD_MIN_BATCH=128 pour l'essayer, à mesurer — sans décodage spéculatif" ] }, { "m": 0, "c": 57, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : --fit inactif (couches --n-cpu-moe sur CPU), la marge ne servirait à rien" ] }, { "m": 8, "c": 65, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 0, "c": 69, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 8, "c": 77, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 3, "c": 84, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 11, "c": 92, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 0, "c": 93, "h": 0, "e": 3, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": {}, "notes": null }, { "m": 4, "c": 0, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 5, "c": 1, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 1, "c": 9, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 0, "c": 20, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 7, "c": 27, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 24000 Mio) : un seul slot, comme sans la clé" ] }, { "m": 11, "c": 31, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé" ] }, { "m": 5, "c": 37, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 7, "c": 39, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 8, "c": 40, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 57, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 9, "c": 65, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 1, "c": 69, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 9, "c": 77, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 4, "c": 84, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 0, "c": 92, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 1, "c": 93, "h": 0, "e": 4, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 5, "c": 0, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 6, "c": 1, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "65536", "-t", "4", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--slot-save-path", "/data/slots" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir (vision chargée : llama.cpp l'ignore de toute façon)." ] }, { "m": 2, "c": 9, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 1, "c": 20, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 8, "c": 27, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 0, "c": 31, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 6, "c": 37, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir (vision chargée : llama.cpp l'ignore de toute façon)." ] }, { "m": 8, "c": 39, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 9, "c": 40, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 2, "c": 57, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 10, "c": 65, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 2, "c": 69, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 10, "c": 77, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": [ "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 5, "c": 84, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--prio-batch", "2" ], "env": {}, "notes": [ "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 1, "c": 92, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 2, "c": 93, "h": 0, "e": 5, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : --context-shift (LLAMA_ARG_CONTEXT_SHIFT) — contexte plein, le moteur jette des jetons anciens et le modèle perd une partie de la conversation sans le savoir." ] }, { "m": 6, "c": 0, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 7, "c": 1, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 3, "c": 9, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 2, "c": 20, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 27, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 1, "c": 31, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~25600 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet" ] }, { "m": 7, "c": 37, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 9, "c": 39, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 10, "c": 40, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition) ; placement manuel (--fit off) : --fit ne compte pas le brouillon, place-le avec -devd / -ngld si la VRAM manque", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 3, "c": 57, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : --fit inactif (--fit off), la marge ne servirait à rien", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 11, "c": 65, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 3, "c": 69, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse." ] }, { "m": 11, "c": 77, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 6, "c": 84, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 2, "c": 92, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 3, "c": 93, "h": 0, "e": 6, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 7, "c": 0, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 8, "c": 1, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 4, "c": 9, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 3, "c": 20, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 10, "c": 27, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "2", "--no-kv-unified", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT : 2 slots de 32768 jetons (-c 65536, --no-kv-unified), ~2198 Mio de VRAM en plus pour le second (cache KV et état récurrent ; le brouillon MTP éventuel et les points de reprise en RAM hôte doublent aussi) ; le placement automatique sortira des couches du GPU s'il manque de place" ] }, { "m": 2, "c": 31, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (LLAMA_ARG_SPLIT_MODE déjà posée) : découpe par couches, comme sans la clé" ] }, { "m": 8, "c": 37, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 39, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 11, "c": 40, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 4, "c": 57, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : --fit inactif (-sm row), la marge ne servirait à rien" ] }, { "m": 0, "c": 65, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 4, "c": 69, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 0, "c": 77, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 7, "c": 84, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 3, "c": 92, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 4, "c": 93, "h": 0, "e": 7, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": {}, "notes": null }, { "m": 8, "c": 0, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 9, "c": 1, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 5, "c": 9, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 4, "c": 20, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 27, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 3, "c": 31, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 9, "c": 37, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 39, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 0, "c": 40, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 5, "c": 57, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 1, "c": 65, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 5, "c": 69, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 1, "c": 77, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 8, "c": 84, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 4, "c": 92, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 5, "c": 93, "h": 0, "e": 8, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 9, "c": 0, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 10, "c": 1, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto", "--cache-ram", "13981" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "cache de prompts : --cache-ram 13981 (RAM hôte, copie exacte de l'état, jamais la VRAM ; besoin estimé 13981 Mio, plafond 19660 Mio). CACHE_RAM= pour fixer, 0 pour couper." ] }, { "m": 6, "c": 9, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 5, "c": 20, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": null }, { "m": 0, "c": 27, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 8192 Mio d'état dépassent 90 % de 16311 Mio) : un seul slot, comme sans la clé" ] }, { "m": 4, "c": 31, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "all", "-sm", "tensor", "-ts", "57,43", "-fa", "on" ], "env": { "GGML_CUDA_ALLREDUCE": "internal" }, "notes": [ "SPLIT_MODE=tensor (expérimental) : -sm tensor sur 2 cartes, -ts 57,43 (VRAM totale), ~17558 Mio estimés sans --fit ; décodage plus rapide, prefill plus lent — compare le temps par tour ; GGML_CUDA_ALLREDUCE=internal : sommes dans le type natif (NCCL les compresserait en BF16, avec perte). « NCCL not compiled in » ou « NCCL is unavailable » au journal : sans effet ici. GeForce sans P2P : les sommes passent par l'hôte ; GGML_CUDA_P2P=1 à poser soi-même si le pilote le permet ; modèle hybride : état récurrent et points de reprise répartis entre cartes, non validés en amont" ] }, { "m": 10, "c": 37, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SPEC=auto : le dernier lancement avec cette configuration n'a jamais répondu — sans décodage spéculatif" ] }, { "m": 0, "c": 39, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 1, "c": 40, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram : sans MTP (pas de tête MTP dans ce fichier (publiée à part ? MODEL_DRAFT=mtp-….gguf)) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 6, "c": 57, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 2, "c": 65, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 6, "c": 69, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 2, "c": 77, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 9, "c": 84, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 5, "c": 92, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 6, "c": 93, "h": 0, "e": 9, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 10, "c": 0, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 11, "c": 1, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 7, "c": 9, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 6, "c": 20, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 1, "c": 27, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 3072 Mio d'état dépassent 90 % de 28599 Mio) : un seul slot, comme sans la clé" ] }, { "m": 5, "c": 31, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (architecture deepseek2 exclue du mode tensor) : découpe par couches, comme sans la clé" ] }, { "m": 11, "c": 37, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 1, "c": 39, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 2, "c": 40, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=mtp+ngram : sans MTP (métadonnées du modèle illisibles) → n-grammes seuls. SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)" ] }, { "m": 7, "c": 57, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024" ] }, { "m": 3, "c": 65, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 7, "c": 69, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 3, "c": 77, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 10, "c": 84, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 6, "c": 92, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf", "-ts", "1,1" ], "env": {}, "notes": [ "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)" ] }, { "m": 7, "c": 93, "h": 0, "e": 10, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 11, "c": 0, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 0, "c": 1, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement.", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 8, "c": 9, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel.", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 7, "c": 20, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 2, "c": 27, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM NVIDIA inconnue (macOS, AMD, --device…)) : un seul slot, comme sans la clé", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 6, "c": 31, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/layers.gguf", "-c", "32768", "-t", "4", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--mmproj", "/m/mmproj.gguf" ], "env": {}, "notes": [ "SPLIT_MODE=tensor refusé (cartes inconnues (--list-devices n'a rien répondu)) : découpe par couches, comme sans la clé", "threads auto → -t 4 : cpuset du conteneur, 4 cœurs physiques permis sur 8 (llama.cpp seul en lancerait 8)", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 0, "c": 37, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 2, "c": 39, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/inconnu.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 3, "c": 40, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition)", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 8, "c": 57, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--fit-target", "1024" ], "env": {}, "notes": [ "--fit-target 1024 (FIT_TARGET, Mio libres par carte, dans l'ordre vu par le moteur) — vérifie « offloaded N/N layers » dans le journal ; marges sous 1024 Mio remontées à 1024", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 4, "c": 65, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "CUDA_GRAPH_OPT=oui ignoré (on ou off)", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 8, "c": 69, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": [ "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 4, "c": 77, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--load-mode", "none" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 11, "c": 84, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": [ "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 7, "c": 92, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 8, "c": 93, "h": 0, "e": 11, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "avertissement : LLAMA_ARG_SPEC_SYNTH_LEN — le moteur accepte des jetons du brouillon AU HASARD, sans vérification : les réponses ne sont plus celles du modèle. Réservé aux mesures, retire-le." ] }, { "m": 0, "c": 0, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 1, "c": 1, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "65536", "-b", "4096", "-ub", "2048", "--host", "127.0.0.1", "--port", "8081", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "NGL=999 (sentinelle « toutes les couches ») → -ngl auto : ce moteur mesure lui-même la VRAM libre. NGL=all pour forcer l'ancien comportement." ] }, { "m": 9, "c": 9, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ctk", "q8_0", "-ctv", "q8_0" ], "env": {}, "notes": [ "cache KV q8_0/q8_0 (KV_TYPE) : modifie légèrement les sorties par rapport à f16 — choix de l'utilisateur, laissé tel quel." ] }, { "m": 8, "c": 20, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": null }, { "m": 3, "c": 27, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "SIDE_SLOT refusé (VRAM insuffisante : modèle + 2 × 2198 Mio d'état dépassent 90 % de 24576 Mio) : un seul slot, comme sans la clé", "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer)." ] }, { "m": 7, "c": 31, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "SPLIT_MODE=tensor refusé (VRAM insuffisante sans --fit : ~38912 Mio (poids + cache de 32768 jetons) pour 28599 Mio sur 2 cartes — CTX n'est jamais réduit d'office) : découpe par couches, comme sans la clé", "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 1, "c": 37, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/moe.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] }, { "m": 3, "c": 39, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64" ], "env": {}, "notes": [ "modèle hybride de 20 Gio pour 24 Gio de RAM : jusqu'à 32 points de reprise (~150 Mio chacun) prennent sur le cache de pages des poids. CTX_CHECKPOINTS=8 à 16 si le débit baisse.", "moteur b9000 : les points de reprise des modèles hybrides (Qwen3.5/3.6, Qwen3-Next…) y sont évincés trop tôt — jusqu'à ~8 k jetons recalculés à chaque reprise. Corrigé à partir de b10864. Pas d'espacement resserré d'office : RAM inconnue ou déjà prise par le modèle (CKPT_MIN_STEP=2048 pour l'imposer).", "SPEC=ngram → n-grammes du contexte (ngram-mod, brouillons de 48 à 64 jetons) : distribution inchangée (chaque jeton vérifié), ~16 Mo de RAM ; utile surtout en mode code, à mesurer (acceptation par nature dans /api/perf/summary)", "tête MTP du modèle inutilisée avec SPEC=ngram : SPEC=mtp+ngram pour les deux", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 4, "c": 40, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/hybrid.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--spec-type", "draft-mtp,ngram-mod", "--spec-ngram-mod-n-match", "24", "--spec-ngram-mod-n-min", "48", "--spec-ngram-mod-n-max", "64", "--spec-draft-sampling", "greedy" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer", "SPEC=mtp+ngram → tête MTP imposé : sortie inchangée, ~1-2 Go de VRAM en plus ; n-grammes en plus (ngram-mod, prioritaires quand ils trouvent une répétition) ; placement manuel (--tensor-split) : --fit ne compte pas le brouillon, place-le avec -devd / -ngld si la VRAM manque", "modèle hybride : chaque brouillon n-gramme copie l'état récurrent (point de reprise en RAM hôte) et le recharge s'il est rejeté — compare le temps par tour, pas seulement le débit" ] }, { "m": 9, "c": 57, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto" ], "env": {}, "notes": [ "FIT_TARGET=512 ignoré : --fit inactif (--tensor-split), la marge ne servirait à rien" ] }, { "m": 5, "c": 65, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x" ], "env": {}, "notes": [ "CUDA_GRAPH_OPT=oui ignoré (on ou off)" ] }, { "m": 9, "c": 69, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--checkpoint-min-step", "1024" ], "env": {}, "notes": null }, { "m": 5, "c": 77, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/ds.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--api-key", "sk-loki-x", "--load-mode", "none" ], "env": {}, "notes": null }, { "m": 0, "c": 84, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-t", "6", "-tb", "6", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "--prio-batch", "2" ], "env": {}, "notes": null }, { "m": 8, "c": 92, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-ts", "1,1" ], "env": {}, "notes": null }, { "m": 9, "c": 93, "h": 0, "e": 12, "args": [ "/app/llama-server", "-m", "/m/dense.gguf", "-c", "32768", "-b", "2048", "-ub", "512", "--host", "0.0.0.0", "--port", "8080", "--parallel", "1", "-ngl", "auto", "-dev", "CUDA0,CUDA1" ], "env": { "CUDA_SCALE_LAUNCH_QUEUES": "4x" }, "notes": [ "CUDA_SCALE_LAUNCH_QUEUES=4x (2 GPU, parallélisme pipeline possible) — CUDA_LAUNCH_QUEUES=off pour s'en passer" ] } ], "cpu_list": { "": [], " 5 ": [ 5 ], "0,0,1": [ 0, 1 ], "0-3,8-11": [ 0, 1, 2, 3, 8, 9, 10, 11 ], "0-70000": "erreur", "2-2,1": [ 1, 2 ], "3-1": "erreur", "a-b": "erreur" }, "cpuset": [ { "engine": 0, "files": { "proc/self/status": "Name:\tx\nCpus_allowed_list:\t0-7\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu4/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu5/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu6/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu7/topology/thread_siblings": "3\n", "sys/devices/system/cpu/online": "0-7\n" }, "n": 0, "name": "sans restriction", "why": "" }, { "engine": 8, "files": { "proc/self/status": "Cpus_allowed_list:\t0-5\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu10/topology/thread_siblings": "5\n", "sys/devices/system/cpu/cpu11/topology/thread_siblings": "5\n", "sys/devices/system/cpu/cpu12/topology/thread_siblings": "6\n", "sys/devices/system/cpu/cpu13/topology/thread_siblings": "6\n", "sys/devices/system/cpu/cpu14/topology/thread_siblings": "7\n", "sys/devices/system/cpu/cpu15/topology/thread_siblings": "7\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu4/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu5/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu6/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu7/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu8/topology/thread_siblings": "4\n", "sys/devices/system/cpu/cpu9/topology/thread_siblings": "4\n", "sys/devices/system/cpu/online": "0-15\n" }, "n": 3, "name": "cpuset", "why": "cpuset du conteneur, 3 cœurs physiques permis sur 8" }, { "engine": 16, "files": { "proc/self/status": "Cpus_allowed_list:\t0-15\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu10/topology/thread_siblings": "10\n", "sys/devices/system/cpu/cpu11/topology/thread_siblings": "11\n", "sys/devices/system/cpu/cpu12/topology/thread_siblings": "12\n", "sys/devices/system/cpu/cpu13/topology/thread_siblings": "13\n", "sys/devices/system/cpu/cpu14/topology/thread_siblings": "14\n", "sys/devices/system/cpu/cpu15/topology/thread_siblings": "15\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu4/topology/thread_siblings": "4\n", "sys/devices/system/cpu/cpu5/topology/thread_siblings": "5\n", "sys/devices/system/cpu/cpu6/topology/thread_siblings": "6\n", "sys/devices/system/cpu/cpu7/topology/thread_siblings": "7\n", "sys/devices/system/cpu/cpu8/topology/thread_siblings": "8\n", "sys/devices/system/cpu/cpu9/topology/thread_siblings": "9\n", "sys/devices/system/cpu/online": "0-15\n", "sys/fs/cgroup/cpu.max": "250000 100000\n" }, "n": 3, "name": "quota v2", "why": "quota cgroup de 3 CPU" }, { "engine": 16, "files": { "proc/self/status": "Cpus_allowed_list:\t0-15\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu10/topology/thread_siblings": "10\n", "sys/devices/system/cpu/cpu11/topology/thread_siblings": "11\n", "sys/devices/system/cpu/cpu12/topology/thread_siblings": "12\n", "sys/devices/system/cpu/cpu13/topology/thread_siblings": "13\n", "sys/devices/system/cpu/cpu14/topology/thread_siblings": "14\n", "sys/devices/system/cpu/cpu15/topology/thread_siblings": "15\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu4/topology/thread_siblings": "4\n", "sys/devices/system/cpu/cpu5/topology/thread_siblings": "5\n", "sys/devices/system/cpu/cpu6/topology/thread_siblings": "6\n", "sys/devices/system/cpu/cpu7/topology/thread_siblings": "7\n", "sys/devices/system/cpu/cpu8/topology/thread_siblings": "8\n", "sys/devices/system/cpu/cpu9/topology/thread_siblings": "9\n", "sys/devices/system/cpu/online": "0-15\n", "sys/fs/cgroup/cpu/cpu.cfs_period_us": "100000\n", "sys/fs/cgroup/cpu/cpu.cfs_quota_us": "150000\n" }, "n": 2, "name": "quota v1", "why": "quota cgroup de 2 CPU" }, { "engine": 12, "files": { "proc/self/status": "Cpus_allowed_list:\t0-3,8-11\n", "sys/devices/cpu_atom/cpus": "8-11\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu10/topology/thread_siblings": "10\n", "sys/devices/system/cpu/cpu11/topology/thread_siblings": "11\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "3\n", "sys/devices/system/cpu/cpu4/topology/thread_siblings": "4\n", "sys/devices/system/cpu/cpu5/topology/thread_siblings": "5\n", "sys/devices/system/cpu/cpu6/topology/thread_siblings": "6\n", "sys/devices/system/cpu/cpu7/topology/thread_siblings": "7\n", "sys/devices/system/cpu/cpu8/topology/thread_siblings": "8\n", "sys/devices/system/cpu/cpu9/topology/thread_siblings": "9\n", "sys/devices/system/cpu/online": "0-11\n" }, "n": 4, "name": "cœurs E", "why": "cpuset du conteneur, 4 cœurs physiques permis sur 12 (cœurs E écartés)" }, { "engine": 0, "files": { "proc/self/status": "Cpus_allowed_list:\t0-3\n", "sys/devices/system/cpu/cpu0/topology/thread_siblings": "0\n", "sys/devices/system/cpu/cpu1/topology/thread_siblings": "1\n", "sys/devices/system/cpu/cpu2/topology/thread_siblings": "2\n", "sys/devices/system/cpu/cpu3/topology/thread_siblings": "3\n", "sys/devices/system/cpu/online": "0-3\n", "sys/fs/cgroup/cpu.max": "max 100000\n" }, "n": 0, "name": "max", "why": "" }, { "engine": 0, "files": { "sys/devices/system/cpu/online": "x\n" }, "n": 0, "name": "illisible", "why": "" } ], "cgroup": [ { "current": 4096, "files": { "sys/fs/cgroup/memory.current": "4294967296\n", "sys/fs/cgroup/memory.max": "17179869184\n" }, "limit": 16384 }, { "current": 0, "files": { "sys/fs/cgroup/memory.max": "max\n" }, "limit": 0 }, { "current": 0, "files": { "sys/fs/cgroup/memory/memory.limit_in_bytes": "9223372036854771712\n" }, "limit": 0 }, { "current": 1024, "files": { "sys/fs/cgroup/memory/memory.limit_in_bytes": "8589934592\n", "sys/fs/cgroup/memory/memory.usage_in_bytes": "1073741824\n" }, "limit": 8192 }, { "current": 0, "files": {}, "limit": 0 } ], "smi": [ { "cvd": "", "mib": 28599, "out": "0, 16311\n1, 12288\n", "pci": true }, { "cvd": "1", "mib": 12288, "out": "0, 16311\n1, 12288\n", "pci": true }, { "cvd": "1,0", "mib": 24576, "out": "0, 16311\n1, 12288\n", "pci": false }, { "cvd": "2", "mib": 0, "out": "0, 16311\n1, 12288\n", "pci": true }, { "cvd": "GPU-abc", "mib": 0, "out": "0, 16311\n1, 12288\n", "pci": true }, { "cvd": "", "mib": 0, "out": "0, 0\n", "pci": true }, { "cvd": "", "mib": 0, "out": "", "pci": true }, { "cvd": "0", "mib": 8192, "out": "0, 8192\n", "pci": false } ], "devices": { "devs": [ { "ID": "CUDA0", "TotalMiB": 16311 }, { "ID": "CUDA1", "TotalMiB": 12288 }, { "ID": "Vulkan0", "TotalMiB": 8000 } ], "out": "Available devices:\n CUDA0: NVIDIA GeForce RTX 5060 Ti (16311 MiB, 15579 MiB free)\n CUDA1: NVIDIA GeForce RTX 3060 (12288 MiB, 11000 MiB free)\r\n Vulkan0: AMD (8000 MiB, 0 MiB free)\nautre ligne\n" }, "builds": { "build: 12 (ff)": 12, "llama-server build 11009, commit 1a2b3c4": 11009, "rien": 0, "version: 6543 (abcdef0)\nbuilt with gcc": 6543 }, "cmdlines": [ { "args": [ "/app/llama-server", "-m", "/m/a b.gguf", "--api-key", "secret", "--chat-template-kwargs", "{\"x\":\"y\"}", "" ], "env": { "CUDA_VISIBLE_DEVICES": "0,1", "GGML_X": "a b" }, "out": "CUDA_VISIBLE_DEVICES=0,1 GGML_X=\"a b\" /app/llama-server -m \"/m/a b.gguf\" --api-key \"\" --chat-template-kwargs \"{\\\"x\\\":\\\"y\\\"}\" \"\"" }, { "args": [ "/bin/x", "--api-key-file", "/k" ], "env": {}, "out": "/bin/x --api-key-file \"\"" } ], "verdicts": [ { "attempt": null, "failed": null, "record": false, "why": "" }, { "attempt": { "fp": "abc", "bin": "/app/llama-server", "build": 11500 }, "failed": null, "record": true, "why": "le dernier lancement avec cette configuration n'a jamais répondu" }, { "attempt": { "fp": "x", "bin": "", "build": 0 }, "failed": null, "record": false, "why": "" }, { "attempt": null, "failed": { "abc|/app/llama-server|11500": "déjà échoué" }, "record": false, "why": "déjà échoué" } ], "help_fit": { "--fit": true, "--fit [on|off]": true, "--fit-target": false, "--fit=on": true, "--fitness": false, "-fit, --fit X": true, "a,--fit,b": true, "x--fit": false }, "gib": { "0": "0,0 Gio", "104857": "102,4 Gio", "1280": "1,2 Gio", "1536": "1,5 Gio", "16311": "15,9 Gio", "22528": "22,0 Gio", "512": "0,5 Gio", "65536": "64,0 Gio" }, "load_flags": [ { "args": [ "--mlock" ], "modern": true, "note": "", "out": [ "--load-mode", "mmap+mlock" ] }, { "args": [ "--no-mmap", "--mlock" ], "modern": true, "note": "", "out": [ "--load-mode", "mlock" ] }, { "args": [ "--mmap", "-x" ], "modern": true, "note": "", "out": [ "-x", "--load-mode", "mmap" ] }, { "args": [ "--load-mode", "none", "--mlock" ], "modern": true, "note": "", "out": [ "--load-mode", "none" ] }, { "args": [ "--load-mode", "mlock" ], "modern": false, "note": "", "out": [ "--mlock", "--no-mmap" ] }, { "args": [ "--load-mode=none", "--no-mmap" ], "modern": false, "note": "", "out": [ "--no-mmap" ] }, { "args": [ "-lm", "dio" ], "modern": false, "note": "ce moteur ne connaît pas --load-mode dio (DirectIO) : chargement par défaut", "out": [] }, { "args": [ "-lm", "MMAP+MLOCK" ], "modern": false, "note": "", "out": [ "--mlock" ] }, { "args": [ "--load-mode" ], "modern": false, "note": "", "out": [] }, { "args": [ "-x" ], "modern": false, "note": "", "out": [ "-x" ] } ], "state_bytes": [ { "gguf": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "k": "", "per_token": 262144, "recurrent": 0, "v": "" }, { "gguf": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "k": "q8_0", "per_token": 106496, "recurrent": 0, "v": "q4_0" }, { "gguf": { "Version": 3, "Arch": "qwen3", "BlockCount": 64, "NextN": 0, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 8, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 5120, "HeadCount": 40, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 707 }, "k": "f32", "per_token": 299008, "recurrent": 0, "v": "iq4_nl" }, { "gguf": { "Version": 3, "Arch": "qwen3moe", "BlockCount": 48, "NextN": 0, "ContextLength": 262144, "ExpertCount": 128, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 2048, "HeadCount": 32, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 579 }, "k": "", "per_token": 98304, "recurrent": 0, "v": "" }, { "gguf": { "Version": 3, "Arch": "qwen3moe", "BlockCount": 48, "NextN": 0, "ContextLength": 262144, "ExpertCount": 128, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 2048, "HeadCount": 32, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 579 }, "k": "q8_0", "per_token": 39936, "recurrent": 0, "v": "q4_0" }, { "gguf": { "Version": 3, "Arch": "qwen3moe", "BlockCount": 48, "NextN": 0, "ContextLength": 262144, "ExpertCount": 128, "KeyLen": 128, "ValLen": 128, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 2048, "HeadCount": 32, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 579 }, "k": "f32", "per_token": 112128, "recurrent": 0, "v": "iq4_nl" }, { "gguf": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "k": "", "per_token": 65536, "recurrent": 156893184, "v": "" }, { "gguf": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "k": "q8_0", "per_token": 26624, "recurrent": 156893184, "v": "q4_0" }, { "gguf": { "Version": 3, "Arch": "qwen35", "BlockCount": 64, "NextN": 1, "ContextLength": 262144, "ExpertCount": 0, "KeyLen": 256, "ValLen": 256, "HeadCountKV": 4, "HeadCountKVLayers": null, "FullAttnInterval": 4, "Hybrid": true, "EmbeddingLength": 5120, "HeadCount": 24, "SSMConv": 4, "SSMInner": 6144, "SSMState": 128, "SSMGroups": 16, "HasNextNTensor": true, "TensorCount": 900 }, "k": "f32", "per_token": 74752, "recurrent": 156893184, "v": "iq4_nl" }, { "gguf": { "Version": 3, "Arch": "gemma3", "BlockCount": 6, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 64, "ValLen": 64, "HeadCountKV": 2, "HeadCountKVLayers": [ 2, 2, 0, 2, 2, 0 ], "FullAttnInterval": 0, "Hybrid": true, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 4, "SSMInner": 512, "SSMState": 16, "SSMGroups": 1, "HasNextNTensor": false, "TensorCount": 0 }, "k": "", "per_token": 2048, "recurrent": 78592, "v": "" }, { "gguf": { "Version": 3, "Arch": "gemma3", "BlockCount": 6, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 64, "ValLen": 64, "HeadCountKV": 2, "HeadCountKVLayers": [ 2, 2, 0, 2, 2, 0 ], "FullAttnInterval": 0, "Hybrid": true, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 4, "SSMInner": 512, "SSMState": 16, "SSMGroups": 1, "HasNextNTensor": false, "TensorCount": 0 }, "k": "q8_0", "per_token": 832, "recurrent": 78592, "v": "q4_0" }, { "gguf": { "Version": 3, "Arch": "gemma3", "BlockCount": 6, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 64, "ValLen": 64, "HeadCountKV": 2, "HeadCountKVLayers": [ 2, 2, 0, 2, 2, 0 ], "FullAttnInterval": 0, "Hybrid": true, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 4, "SSMInner": 512, "SSMState": 16, "SSMGroups": 1, "HasNextNTensor": false, "TensorCount": 0 }, "k": "f32", "per_token": 2336, "recurrent": 78592, "v": "iq4_nl" }, { "gguf": { "Version": 3, "Arch": "deepseek2", "BlockCount": 61, "NextN": 0, "ContextLength": 0, "ExpertCount": 256, "KeyLen": 192, "ValLen": 128, "HeadCountKV": 128, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "", "per_token": 4997120, "recurrent": 0, "v": "" }, { "gguf": { "Version": 3, "Arch": "deepseek2", "BlockCount": 61, "NextN": 0, "ContextLength": 0, "ExpertCount": 256, "KeyLen": 192, "ValLen": 128, "HeadCountKV": 128, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "q8_0", "per_token": 2155008, "recurrent": 0, "v": "q4_0" }, { "gguf": { "Version": 3, "Arch": "deepseek2", "BlockCount": 61, "NextN": 0, "ContextLength": 0, "ExpertCount": 256, "KeyLen": 192, "ValLen": 128, "HeadCountKV": 128, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "f32", "per_token": 6558720, "recurrent": 0, "v": "iq4_nl" }, { "gguf": { "Version": 0, "Arch": "", "BlockCount": 10, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 0, "ValLen": 0, "HeadCountKV": 0, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "", "per_token": 0, "recurrent": 0, "v": "" }, { "gguf": { "Version": 0, "Arch": "", "BlockCount": 10, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 0, "ValLen": 0, "HeadCountKV": 0, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "q8_0", "per_token": 0, "recurrent": 0, "v": "q4_0" }, { "gguf": { "Version": 0, "Arch": "", "BlockCount": 10, "NextN": 0, "ContextLength": 0, "ExpertCount": 0, "KeyLen": 0, "ValLen": 0, "HeadCountKV": 0, "HeadCountKVLayers": null, "FullAttnInterval": 0, "Hybrid": false, "EmbeddingLength": 0, "HeadCount": 0, "SSMConv": 0, "SSMInner": 0, "SSMState": 0, "SSMGroups": 0, "HasNextNTensor": false, "TensorCount": 0 }, "k": "f32", "per_token": 0, "recurrent": 0, "v": "iq4_nl" } ] }