oMLX 太好用了,已经把 LM studio 卸载了
图一图三:TurboQuant KV Cache enabled, 4bit / channel; DFlash enabled
图二图四:无优化
 
 
Back to Top