极低比特量化突围:把云端巨脑装进小设备

admin1周前 (08-20)33
极低比特量化突围:把云端巨脑装进小设备
规模法则推高参数却撞上内存墙,端侧大模型何解?IJCAI2026指向后训练量化:以极低比特压缩权重与激活。本文剖析BiLLM与SqueezeLLM,借异质精度与组内自适应,在1-2比特下维持对话与困惑...

国产HBM芯片突破内存墙,带宽达819GB/s

admin5个月前 (04-15)285
深圳远见智存发布国产HBM3/3e高带宽存储芯片,带宽高达819GB/s,容量12GB/24GB,突破AI算力瓶颈,助力打破内存墙,提升大模型训练效率。...