Baichuan13B vllm 效果很差

[moseshu]

启动脚本

vllm=v0.2.6
python -m vllm.entrypoints.openai.api_server --model=/opt/apps/models/baichuan-13B--trust-remote-code --gpu-memory-utilization 0.9 --tensor-parallel-size 2 

client

for chunk in client.chat.completions.create(model="llama",
    messages=[
        {"role": "user", "content": "我是一个科学家"},
    ],stream=True,
    max_tokens=40,):
    
    print(chunk.choices[0].delta.content, end="", flush=True)


输出结果如下：
None<|im_end| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |None

 这是数据组成的格式不对么？

[codernew007]

需要根据api_server.py实现，在request中增加top_p、repetable_penality等参数，另外需要设置chat-template为baichuan