Jit支持接入使用vllm本地部署的模型吗

我在服务器上用vllm部署了一个模型:

我用常规的接口测试方法都是可以成功访问的:

我想接入jit,创建的是OpenAI兼容的接口:

配置内容如下:

在agent这里过不了工具检查调用的检查:

会产生如下报错:

直接对话的话也行不通

部署模型的服务器没有产生请求失败的报错

上面的我是在服务器版本的jit弄的,我又尝试了桌面版本的jit

版本估计是不一样的,AI的配置页面有一些不一样

我在桌面版采用同样的方式进行配置

这里过得了工具调用的检查:

不过在使用助理进行对话的时候会报错:

我注意到部署模型的服务器那里也是这样的报错:

我主要想解决服务器版本接入不了的问题,求教各位大佬

我看到这个错误,你到agent的全代码

找到llmConfig

删除modelType试试看

删除之后还是不行。

agent这里检查工具调用会报错:

直接对话的话会报一样的错误:

先确定下服务器可以访问到你所填的ip地址

可以的,我的第二张图就是在jit服务器上测试的接口

日志私发我下

配置给我看看

多个空格

好的,我删掉试试

检查工具调用报错:

对话报错:

同时运行模型的服务器返回的报错:

这个错误表明你正在使用的 AI 模型服务器(可能是 vLLM 或其他 OpenAI 兼容服务)不支持自动工具调用(auto tool
choice)功能,或者该功能没有正确启用

需要在启动服务时添加这些参数:

vllm serve <model_name>
–enable-auto-tool-choice
–tool-call-parser <parser_type>

不过你这个模型不支持工具调用,agent的就没意义了,只能对话,直接使用大模型元素对话应该是可以的

好的,我再试试其他模型看看

请教一下您这个很消耗token吗,我加上了工具自动调用参数启动模型

我问AI说是要限制token,有办法限制一下吗,跑模型我设置的是4096token

可以的,参照下图设置下agent

好的,谢谢啦

解决了,麻烦您了

:+1:

咨询问答场景,推荐 将 Agent 的输出格式改为 纯文本输出。 并且配置 不输出运行日志。 运行效果更好。 效果可以看 JitAI 答疑助手 开启内测!

1 Like