OLMoE，完全开源的1B大小MoE模型，能力超过LLaMA 2 13B，基于5T token预训练实现7B总参数、1B活跃参数的MOE专家模型。

完全开放、最先进的 Expert 模型混合，具有 13 亿个有效参数和 69 亿个总参数。

OLMoE，完全开源的1B大小MoE模型，能力超过LLaMA 2 13B插图

Github地址：https://github.com/allenai/OLMoE

论文地址：https://arxiv.org/abs/2409.02060



微信扫描下方的二维码阅读本文

OLMoE，完全开源的1B大小MoE模型，能力超过LLaMA 2 13B插图1

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。