RTX 3080 20G + E52680V4 + 32G 内存 128K上下文 Qwen3.6 35b a3b 极限45-50t/s
硬件: RTX3080 20G ^| E5-2680v4 ^| 32G 内存 模式: 131072 上下文 + KV q4_0 量化 预期: GPU 10%%+ ^| 内存 20~21G ^| 45-55 t/s 用一台相对民用化的pc跑出了可以用的速度~Qwen3.6 35...
会飞的鱼
硬件: RTX3080 20G ^| E5-2680v4 ^| 32G 内存 模式: 131072 上下文 + KV q4_0 量化 预期: GPU 10%%+ ^| 内存 20~21G ^| 45-55 t/s 用一台相对民用化的pc跑出了可以用的速度~Qwen3.6 35...
您也可以使用第三方帐号快捷登录