return0
1
我在服务器上用vllm部署了一个模型:
我用常规的接口测试方法都是可以成功访问的:
我想接入jit,创建的是OpenAI兼容的接口:
配置内容如下:
在agent这里过不了工具检查调用的检查:
会产生如下报错:
直接对话的话也行不通
部署模型的服务器没有产生请求失败的报错
上面的我是在服务器版本的jit弄的,我又尝试了桌面版本的jit
版本估计是不一样的,AI的配置页面有一些不一样
我在桌面版采用同样的方式进行配置
这里过得了工具调用的检查:
不过在使用助理进行对话的时候会报错:
我注意到部署模型的服务器那里也是这样的报错:
我主要想解决服务器版本接入不了的问题,求教各位大佬
return0
5
可以的,我的第二张图就是在jit服务器上测试的接口
这个错误表明你正在使用的 AI 模型服务器(可能是 vLLM 或其他 OpenAI 兼容服务)不支持自动工具调用(auto tool
choice)功能,或者该功能没有正确启用
需要在启动服务时添加这些参数:
vllm serve <model_name>
–enable-auto-tool-choice
–tool-call-parser <parser_type>
不过你这个模型不支持工具调用,agent的就没意义了,只能对话,直接使用大模型元素对话应该是可以的
return0
14
请教一下您这个很消耗token吗,我加上了工具自动调用参数启动模型
我问AI说是要限制token,有办法限制一下吗,跑模型我设置的是4096token
sumu
19
咨询问答场景,推荐 将 Agent 的输出格式改为 纯文本输出。 并且配置 不输出运行日志。 运行效果更好。 效果可以看 JitAI 答疑助手 开启内测!
1 Like