3 月 18 日，月之暗面（Moonshot AI）宣布在大模型长上下文窗术上取得新的突破，

　　不到半年时间，月之暗面将 Kimi 智能助手的无损上下文长度提升了一个数量级，从 20 万字到 200 万字。

　　Kimi 助手在 2023 年 10 月发布时支持约 20 万汉字无损上下文输入，创造了消费级 AI 产品所支持的上下文输入长度纪录。在开放服务后，借助长文本的能力，用户解锁了很多新的 AI 场景：专业学术论文的翻译和理解、辅助分析法律问题、一次性整理几十张、快速理解 API 开发文档等。

　　Kimi 智能助手在春节后也实现了快速的用户增长，目前已经上线 Web 端、iOS 和 Android 应用、小程序版本。

　　过去要 10000 小时才能成为专家的领域，现在只需要 10 分钟，Kimi 就能接近任何一个新领域的初级专家水平。用户可以跟 Kimi 探讨这个领域的问题，让 Kimi 帮助自己练习专业技能，或者启发新的想法。

　　用户上传几十万字的经典德州扑克长篇教程后，让 Kimi 扮演德扑专家为自己提供出牌策略的指导。

　　上传一个代码仓库里的源代码，可以询问 Kimi 关于代码库的所有细节，即便是毫无注释的陈年老代码也能帮助你快速梳理出代码的结构。

　　上传英伟达过去几年的完整财报，让 Kimi 成为英伟达财务研究专家，帮用户分析总结英伟达历史上的重要发展节点。

　　从长篇小说、故事或剧本中，重新发现值得玩味的蛛丝马迹，进行深层细节的挖掘，是很多影视娱乐 IP 的爱好者热衷的事情。如果将甄嬛传全集几十万字的剧本传给 Kimi，然后提问剧本中有哪些细节表明甄嬛的孩子是果郡王的。Kimi 能在不同时间段、各个场景的故事情节中，深入挖掘甄嬛、果郡王的情感线以及和他们孩子的，堪比一个看了好几十遍电视剧的「甄」学家。

　　从很多 Kimi 智能助手用户的反馈来看，20 万字的无损长上下文帮助他们打开了新的 AI 应用世界，带来了更大的价值，但随着他们尝试更复杂的任务、解读更长的文档，依然会遇到对话长度超出限制的情况。这也是大模型产品的无损上下文长度需要继续提升的一个直接原因。

　　从 20 万字到 200 万字。由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能，月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走「滑动窗口」、「降采样」等技术捷径，攻克了很多底层技术难点，才取得了新的突破。

　　Kimi 智能助手的智能搜索，离不开大模型的无损长上下文能力。Kimi 主动搜索得到的多篇资料，会作为上下文的一部分交给模型去推理。正是因为 Kimi 大模型支持的上下文窗口足够长，窗口内的信息损失足够低，Kimi 智能助手才能输出高质量的结果，为用户带来截然不同的搜索体验——Kimi 可以根据用户的问题，主动去互联网上搜索、分析和总结最相关的多个页面，生成更直接、更准确的答案。

　　另一项与大模型的无损上下文能力息息相关的指标是指令遵循（Instruction Following）能力。指令遵循要体现在两个方面：

　　第二，模型是否能够遵循复杂指令，有时候复杂指令可能长达几千、上万字。从产品推出以来的用户反馈来看，Kimi 智能助手的多轮交互和超长指令遵循能力，也同样具备显著优势。杏彩体育官网注册

　　「我们相信，大模型无损上下文长度的数量级提升，也会进一步帮助大家打开对 AI 应用场景的想象力，包括完整代码库的分析理解、可以自主帮我们完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。」月之暗面工程副总裁许欣然在媒体沟通会上表示。

　　「无论是内存杏彩体育官网、算力还是网络带宽，历史上每一次基础技术的升级，都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。」

　　如果你关注大模型领域，欢迎扫码加入我们的大模型交流群，来一起探讨大模型时代的共识和认知，跟上大模型时代的这股浪潮。