GPTCache 是一个用于创建语义缓存以存储 LLM 查询响应的库。随着应用的增长,LLM API 调用相关的费用可能会变得非常高昂。此外,当处理大量请求时,LLM 服务可能会出现响应时间缓慢的问题。