提示缓存使开发人员能够在 API 调用之间缓存常用的上下文，现在可在 Anthropic API 上使用。通过提示缓存，客户可以向 Claude 提供更多背景知识和示例输出，同时将长提示的成本降低多达 90%，延迟降低多达 85%。提示缓存现已在公开测试版中为 Claude 3.5 Sonnet 和 Claude 3 Haiku 提供，即将支持 Claude 3 Opus。
博客地址：https://www.anthropic.com/news/prompt-caching
微信扫描下方的二维码阅读本文
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
评论(0)