背景
最近在使用vllm部署llm推理服务,发现deepseek的推理结果也在content内不符合预期
最终在vllm文档中发现需要修改启动参数,在此简单记录一下
解决方案
vllm启动参数添加--enable-reasoning --reasoning-parser=deepseek_r1
详见https://github.com/vllm-project/vllm/blob/main/docs/features/reasoning_outputs.md
最近在使用vllm部署llm推理服务,发现deepseek的推理结果也在content内不符合预期
最终在vllm文档中发现需要修改启动参数,在此简单记录一下
vllm启动参数添加--enable-reasoning --reasoning-parser=deepseek_r1
详见https://github.com/vllm-project/vllm/blob/main/docs/features/reasoning_outputs.md
姓名：刘强【嵌牛导读】在搭建专家系统时，推理机运算往往采用语言变量，那么如何将推理的结果反映给现实世界的人呢？本文...
形成判断 判断是通过证据考察和仔细推理得出的结论。它们是思考的结果。判断是评价和推理的结果，这一事实并...
一次次的争吵，一次次的分手复合，我累了，请原谅我从此以后对你的冷漠，谢谢你，我很幸福，至少在相遇的这段时间里，我们...
都已经到了这个年龄，我想自己学会的一个很重要的事情就是，学会把愿望和结果分开来看，自己的愿望是一回事，结果如何是另...
我的今日关注：20171223第295天 把决定和结果分开的决策方法 《鹦鹉螺》杂志，发表一篇名叫《别让结...
没有一场恋爱是没有结果的，因为结果不外乎是：分开或结婚。 但不管是结果是分开还是结婚，都值得我们和喜欢的人好好的谈...
三大推理模式：演绎、归纳和溯因 溯因推理是什么？ 溯因推理是推理到最佳解释的过程。或者说，溯因推理就是从结果出发，...
三大推理模式：演绎、归纳和溯因 溯因推理是什么？ 溯因推理是推理到最佳解释的过程。或者说，溯因推理就是从结果出发，...
✨只问耕耘，不问收获，只问结果，不问过程，这两句话真的对吗？ ✨其实不该把耕耘和收获分开，不该把过程和结果分开，耕...
第五个14天快要结束了，这段时间隔离在家，基本就是做饭看书这两件事。前天上称，比年前又胖了十多斤……疫情影响了很多...
本文标题：vllm部署的deepseek如何将推理结果和普通结果分开
本文链接：https://www.haomeiwen.com/subject/blhsajtx.html
网友评论