三值量化让大模型轻松上手机端

admin4小时前15
中国团队突破大模型部署瓶颈,采用三值量化技术将模型压缩至原体积1/6,性能保留97%以上,实现600亿参数大模型在8GB内存手机上运行。了解大模型瘦身革命及三值量化的极致压缩原理。...