当前位置:首页 > 大杂烩 > 正文内容

vLLM 部署 Qwen3-VL-32B-Thinking 模型 reasoning_content 为空问题解决记录

高老师4个月前 (10-28)大杂烩149

Qwen3-VL-32B-Thinking 模型的输出格式实际上遵循 DeepSeek-R1 格式,而不是标准的 Qwen3 格式。


修改启动脚本:将 --reasoning-parser 从 qwen3 改为 deepseek_r1


参考代码:

nohup env SSL_CERT_FILE=/etc/ssl/certs/ca-certificates.crt \
python -m vllm.entrypoints.openai.api_server \
--model /root/.cache/modelscope/hub/models/Qwen/Qwen3-VL-32B-Thinking \
--reasoning-parser deepseek_r1 \
--tensor-parallel-size 8 >log.txt 2>&1 &


扫描二维码推送至手机访问。

版权声明:本文由高久峰个人博客发布,如需转载请注明出处。

本文链接:https://blog.20230611.cn/post/918.html

分享给朋友:

“vLLM 部署 Qwen3-VL-32B-Thinking 模型 reasoning_content 为空问题解决记录” 的相关文章

PHP安装mongodb扩展

PHP安装mongodb扩展

在安装之前我们先看看官方给出的依赖关系.首先是dll文件和mongodb软件的依赖关系然后是PHP文件和dll的依赖关系我的是phpstudy的集成环境PHP5.4.45 NTS+Apache+Mysql【一】.安装mongodb3.0软件对比依赖关系下载mongodb3.0.msi软件,完整名称:...

Application的错误使用

Application的错误使用

Application 对象用于存储和访问来自任意页面的变量,类似 Session 对象。不同之处在于所有的用户分享一个 Application 对象,而 session 对象和用户的关系是一一对应的。很多的书籍中介绍的Application对象都喜欢以统计在线人数来介绍Application 对象...

Git从远程仓库更新文件

Git从远程仓库更新文件

 git   pull  https://git.oschina.net/392223903/learn.git   master   换为您的git地址...

Git日志查看和版本切换

Git日志查看和版本切换

日志查看:git log版本切换:方式1:git  reset  --hard  HEAD^   倒退一个版本git  reset  --hard  HEAD^^  倒退两个版本方式2:(版本号的形式,建议版本号码补充完...

C# md5加密,C# md5加密代码

C# md5加密,C# md5加密代码

public static string GetMD5(string str) {     //创建MD5对象     MD5 md5 = MD5.C...

c#中文简体转换繁体

c#中文简体转换繁体

private const string fantizi = "高久峰是個程序員"; private const string jiantizi = "高久峰是个程序员...