LMDeploy

LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。「LMDeploy is a toolkit for c...