定价:
image.png
一个token约4个字符,100token约75的单词
常见错误
400
token过长 单次携带内容过多和maxToken设置过大造成
429
gpt限流,使用量大造成,快速解决方案,更换模型,16k是4k的2倍(成本翻倍),如果用户用量继续增大就只能考虑多个账号。。gpt4的限流远低于gpt3.5,基本无法大规模使用
RPM 一分钟请求多少次
TPM 一分钟请求多少token
null
调用gpt接口偶尔不是超时,但是返回让用户重试这个时候的choices是空的,如果没有判断会空指针异常
image.png
其他
请求超时
服务端请求超时,客户端已断开连接,服务端向可客户端发送错误信息造成(这个除了重试没有什么好的解决方案)
ResponseBodyEmitter has already completed
gpt error java.util.concurrent.TimeoutException








网友评论