Anthropic anuncia cache de prompt com Claude #ÚltimasNotícias #tecnologia

A Anthropic anunciou um novo recurso Prompt Caching com Claude que aumenta as capacidades do Claude para tarefas repetitivas com grandes quantidades de informações contextuais detalhadas. O novo recurso o torna mais rápido, mais barato e mais poderoso, disponível hoje em Beta por meio da API Anthropic.

Cache de Prompt

Este novo recurso fornece um poderoso impulso para usuários que usam consistentemente instruções altamente detalhadas que usam respostas de exemplo e contêm uma grande quantidade de informações de fundo no prompt, permitindo que Claude reutilize os dados com o cache. Isso melhora a consistência da saída, acelera as respostas de Claude em até 50% (latência mais baixa) e também o torna até 90% mais barato de usar.

Prompt Caching com Claude é especialmente útil para projetos complexos que dependem dos mesmos dados e é útil para empresas de todos os tamanhos, não apenas organizações de nível empresarial. Este recurso está disponível em um Beta público por meio da API Anthropic para uso com Claude 3.5 Sonnet e Claude 3 Haiku.

O anúncio lista as seguintes maneiras pelas quais o Prompt Caching melhora o desempenho:

• “Agentes de conversação: reduzam custos e latência para conversas longas, especialmente aquelas com instruções longas ou documentos enviados.
• Processamento de documentos grandes: incorpore material completo e longo em seu prompt sem aumentar a latência de resposta.
• Conjuntos de instruções detalhadas: compartilhe listas extensas de instruções, procedimentos e exemplos para ajustar as respostas de Claude sem incorrer em custos repetidos.
• Assistentes de codificação: melhore o preenchimento automático e as perguntas e respostas da base de código mantendo uma versão resumida da base de código no prompt.
• Uso de ferramentas Agentic: Melhore o desempenho para cenários que envolvem múltiplas chamadas de ferramentas e alterações iterativas de código, onde cada etapa normalmente requer uma nova chamada de API.”

Mais informações sobre a API Anthropic aqui:

Construir com Claude

Explore os modelos mais recentes – Preços

Imagem em destaque por Shutterstock/gguy