[模型组]Qwen-VL-Chat 大模型

Qwen-VL-Chat 是一个官方模型组，它包含 3 个独立模型和 1 个 Ensemble 模型。Ensemble 模型将 3 个独立模型封装为一个工作流。本模型组允许您向一体机私有化部署 Qwen-VL-Chat 大模型，在边缘侧获取大模型服务。

背景信息

Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model，LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL-Chat 是 Qwen-VL 系列的 Chat 模型。

模型组基本信息

模型列表

本模型组包含 4 个模型。其中，Ensemble 模型中封装了其他模型，定义了模型组的整体工作流。使用过程中，您只需部署 Ensemble 模型，无需关注中间的处理过程。
下表罗列了本模型组包含的所有模型。您可以在边缘智能控制台的 官方模型 列表访问这些模型。

Ensemble 模型输入

Ensemble 模型输出

Ensemble 模型版本

本模型提供 2 个可部署版本。

部署模型服务

部署不同版本的方法不同。根据要部署的版本，执行相应操作。

部署 V1_3090_WithoutFile 版本

部署此版本前，您必须先在一体机的 /etc/vei_infer 目录手动挂载所需的大模型文件。

步骤1：挂载大模型文件到一体机

1. 远程登录一体机。
2. 访问一体机的 /etc/vei_infer 目录。
3. 在 /etc/vei_infer 目录挂载如下大模型文件：
   • build 过后的 llm engine 文件夹（对于 Qwen-VL-Chat 模型，文件夹名称为 qwen_engine）
   • build 过后的 vit engine 文件夹（对于 Qwen-VL-Chat 模型，文件夹名称为 vit_engine）
   • tokenizer 文件夹（对于 Qwen-VL-Chat 模型，文件夹名称为 qwen_vl_tokenizer，建议您将文件夹重命名为tokenizer，否则，您修改模型部署配置中的默认参数配置。）
     

步骤2：部署模型服务

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面，修改以下配置：

部署 V2_3090_WithoutFile 版本

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面，修改以下配置：

验证

完成模型服务部署后，您可以使用客户端脚本进行模型的调用。以下是 Client 脚本的示例。

import requests
import base64

server = "<server_ip:port>" # 修改为模型服务的服务地址（可从模型服务详情中获取）
prompt = """描述一下图片的内容""" # 修改为要使用的提示词（prompt）
img_path = "./cat.jpeg" # 修改为要读取的图片地址
max_ouput_len = 500

url = "http://%s/v2/models/m-official-32/generate" % server
def request_qwen_vl(query, path):
    data = {
        "QUERY": query,
        "REQUEST_OUTPUT_LEN": max_ouput_len,
        "IMAGE": base64.b64encode(open(path, 'rb').read()).decode('utf-8')
    }
    response = requests.post(url, json=data)
    return response.json()['text_output']

print(request_qwen_vl(prompt, img_path))