onthebench.ai 基准测试 Arch: 对我们的公平性设置的回顾

大家好,我运行 onthebench.ai,这是一个开放的基准测试,用于在中性硬件上测量 LLM 网关的开销(延迟、吞吐量、内存、流式传输、协议转换)。Arch 是板上的一个网关,我希望确保我在公平地测试它。