diff --git a/rust/loki-rs/tests/parity_bench/bench.json b/rust/loki-rs/tests/parity_bench/bench.json index fd87ee9..64bd1d3 100644 --- a/rust/loki-rs/tests/parity_bench/bench.json +++ b/rust/loki-rs/tests/parity_bench/bench.json @@ -231,8 +231,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -304,7 +304,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -335,8 +335,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -358,8 +358,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -387,8 +387,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -410,8 +410,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -433,8 +433,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -542,8 +542,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -615,7 +615,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -855,8 +855,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -947,8 +947,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -993,8 +993,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -1066,7 +1066,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -1103,8 +1103,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -1132,8 +1132,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -1241,8 +1241,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -1314,7 +1314,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -1554,8 +1554,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -1646,8 +1646,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -1686,8 +1686,8 @@ "predicted_ms": 81920, "predicted_n": 4096, "predicted_per_second": 50, - "prompt_ms": 16402, - "prompt_n": 32804, + "prompt_ms": 16395, + "prompt_n": 32790, "prompt_per_second": 2000, "protocol": 2 }, @@ -1759,7 +1759,7 @@ "max_tokens": 4096, "messages": [ { - "content": "<131201 octets e3226a117903>", + "content": "<131145 octets 8d4ca4a3239d>", "role": "user" } ], @@ -1790,8 +1790,8 @@ "predicted_ms": 81920, "predicted_n": 4096, "predicted_per_second": 50, - "prompt_ms": 16402, - "prompt_n": 32804, + "prompt_ms": 16395, + "prompt_n": 32790, "prompt_per_second": 2000, "protocol": 2 } @@ -1813,8 +1813,8 @@ "predicted_ms": 81920, "predicted_n": 4096, "predicted_per_second": 50, - "prompt_ms": 16402, - "prompt_n": 32804, + "prompt_ms": 16395, + "prompt_n": 32790, "prompt_per_second": 2000, "protocol": 2 } @@ -2093,7 +2093,7 @@ "max_tokens": 16, "messages": [ { - "content": "<3745 octets 55a9fdff5d02>", + "content": "<3745 octets 4d9bad4c301c>", "role": "user" } ], @@ -2187,8 +2187,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -2260,7 +2260,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -2291,8 +2291,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2314,8 +2314,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2420,8 +2420,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2443,8 +2443,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2541,7 +2541,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -2572,8 +2572,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2595,8 +2595,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2693,7 +2693,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -2747,8 +2747,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2770,8 +2770,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -2868,7 +2868,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -2992,8 +2992,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3015,8 +3015,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3121,8 +3121,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3144,8 +3144,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3189,8 +3189,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -3287,7 +3287,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -3319,8 +3319,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3342,8 +3342,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3383,8 +3383,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -3457,7 +3457,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -3489,8 +3489,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3512,8 +3512,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3579,8 +3579,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }, @@ -3652,7 +3652,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -3737,8 +3737,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3760,8 +3760,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3867,7 +3867,7 @@ "max_tokens": 300, "messages": [ { - "content": "<8144 octets 5c98ee6b6194>", + "content": "<8130 octets 081c43a7796f>", "role": "user" } ], @@ -3952,8 +3952,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -3975,8 +3975,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -4034,8 +4034,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -4057,8 +4057,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -4089,8 +4089,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -4112,8 +4112,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 } @@ -4135,8 +4135,8 @@ "predicted_ms": 6000, "predicted_n": 300, "predicted_per_second": 50, - "prompt_ms": 1020, - "prompt_n": 2040, + "prompt_ms": 1018, + "prompt_n": 2036, "prompt_per_second": 2000, "protocol": 2 }