微软LongRoPE方法让LLM上下文窗口突破 200 万 8倍扩展还保持性能 微软研究人员提出的LongRoPE方法首次将预训练的大型语言模型的上下文窗口扩展至2048k个token，实现了8倍的扩展同时保持原始短上下文窗口的性能无需进行架构变化和复杂微调。 LongRoP 2024年05月16日 131 点赞 1 评论 198 浏览
