DeepSeek开源第二天，DeePep，用于MOE模型培训和推理的开源EP通信库。

支持有效且优化的全能通信，具有NVLINK和RDMA的Intranode和Intranode和InterDode支持，高通量内核用于培训和推理预填充，用于推理解码的低延迟核，本机FP8调度支持，灵活的GPU资源控制用于计算 - 通信重叠。

DeepSeek开源第二天，DeePep，用于MOE模型培训和推理的开源EP通信库插图

Github地址：https://github.com/deepseek-ai/DeepEP



微信扫描下方的二维码阅读本文

DeepSeek开源第二天，DeePep，用于MOE模型培训和推理的开源EP通信库插图1

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。