开源大模型生态迎来底层架构的重大突破。谷歌
此次 Gemma4最引人注目的技术创新在于引入了全新的“E2B”(参数卸载)架构。在传统的 Transformer 架构中,庞大的嵌入层往往会占用海量的显存空间。而新架构巧妙地在每一层中加入了嵌入表,利用查找表机制代替了繁重的全矩阵乘法计算。以其中一款50亿参数的模型为例,在 E2B 架构的加持下,实际需要加载到 GPU 显存中的“有效参数”仅为20亿,其余30亿参数可以安全地卸载到 CPU 甚至磁盘中。这意味着该模型仅需2GB 显存便能实现极速推理,彻底突破了移动端、智能手机和树莓派等端侧设备的部署瓶颈。
作为一次极具雄心的复杂发布,
随着大模型开箱即用能力的增强,垂直领域的开发生态正经历深刻的重构,纯粹的传统微调热度正在逐步退烧。面向未来,
发表评论取消回复