译:开源 lithos-metal:为 Apple Silicon 生成 Metal megakernel
Apache 2.0 推理引擎,M5 Max 上 Qwen3.8-27B 可达 200+ tok/s/user
Megakernel + DSpark speculative decoding,减少 dispatch 与带宽浪费
本地推理迁上 Mac:吞吐升、不必把模型流量交云
译:开源 lithos-metal:为 Apple Silicon 生成 Metal megakernel
Apache 2.0 推理引擎,M5 Max 上 Qwen3.8-27B 可达 200+ tok/s/user
Megakernel + DSpark speculative decoding,减少 dispatch 与带宽浪费
本地推理迁上 Mac:吞吐升、不必把模型流量交云