Cerebras，Groq同类的AI快速推理平台，Llama 3 70B可达到450token/s的速度，API每天免费100万token，但是需要申请，也可以在线使用，只有Llama 3 8B和70B.

我们打开Cerebras官网，可以用谷歌和微软账号授权登录。

Cerebras，Groq同类的AI快速推理平台，Llama 3 70B可达到450token/s的速度插图

登录成功后可以直接使用，我们先用随机的问题来提问，看看速度是不是真的很快？

Cerebras，Groq同类的AI快速推理平台，Llama 3 70B可达到450token/s的速度插图1

Llama 3 8B达到1725T/s，还没反应过来，已经回答好了，这速度也太快了吧！

我们再来体验下Llama 3 70B，让它写个WordPress的多语言插件吧！

Cerebras，Groq同类的AI快速推理平台，Llama 3 70B可达到450token/s的速度插图2

Llama 3 70B达到446T/s，速度同样很快，回答的也比较详细。

Cerebras目前在线使用只有Llama 3 8B和70B，后续应该会接入更多的开源模型，这么快的速度的确惊艳到咯~



微信扫描下方的二维码阅读本文

Cerebras，Groq同类的AI快速推理平台，Llama 3 70B可达到450token/s的速度插图3

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。