苹果也发布了一个小模型 DCLM-Baseline-7B，主要的是开源了全链路的所有训练过程和素材。包括预训练的数据集、数据处理过程、训练过程和评估组件。

模型的MMLU测试表现也与Mistral-7B-v0.3 和 Llama 3 8B 相当。

Apple发布DCLM-Baseline-7B小模型，开源了全链路的所有训练过程和素材插图

DCLM-Baseline-7B 是在 DCLM-Baseline 数据集上训练的 70 亿参数语言模型，该数据集是作为 DataComp for Language Models （DCLM） 基准测试的一部分进行策划的。该模型旨在展示系统数据管理技术在提高语言模型性能方面的有效性。

模型下载地址：https://huggingface.co/apple/DCLM-7B



微信扫描下方的二维码阅读本文

Apple发布DCLM-Baseline-7B小模型，开源了全链路的所有训练过程和素材插图1

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。