硬件要求（最低）

• CPU结构：x86_64

• 硬盘：200G

软件要求

• 操作系统：Windows 11/10

2.2 安装过程

注意

• 安装本系统前请确保已安装好推理AI 卡

2.1.0 版本之后，HLIECpp 安装集成在 AI 助手的应用市场内。

在零刻AI网站推理框架栏目下载安装包（https://llm.bee-link.cn/frameworks.php），下载并双击 HLAWUtility-Setup-1.4.0-win-x64.exe 安装包，进入安装过程。

准备界面过了之后，就可以选择安装目录了

HLAWUtility 提供了诸多功能项目方便使用者快速上手，包括

卡状态监测、模型管理（本地和云上）、配置管理、推理调度、驱动管理、固件（卡）管理。

总览首页如上所示，具体功能将在后续章节详细介绍。

切换到应用市场 ，找到 HLIECpp 直接点击安装。

下面的弹窗点击 Yes

等待若干秒即会出现安装完成的状态。

3.1.1 支持的模型部署包

完整包名称为：HiModel_<target>_<model_type> [-vl]_<param_size>_p256_<context_size>_<batch_size>_<core_num>_<device_size>_<sys_version>_<build_time>.gguf

• target 表示运行的硬件平台，如 xh1, xh2

• model_type 表示模型类型

  • deepseek：表示该模型部署包为DeepSeek-r1 模型

  • qwen2.5：表示该模型部署包为QWen2.5 模型

  • qwen3：表示该模型部署包为QWen3 模型

  • 其他模型类型...

• [-vl] 表示多模态

• param_size 表示模型参数，如4b

• context_size 表示上下文大小，如2K

• batch_size 表示模型支持的批量推理的能力大小，如 1b, 2b

• core_num 表示模型构建适配的硬件的 IPU Core 数量，如2core

• device_size 表示模型加载与推理需要几张AI Chip ，如1chip, 2chips (旧格式 1d， 2d)

• sys_version表示模型编译基于硬件版本号，如 v0.7.0

• build_time表示构建时间，如20260105154602

如 HiModel_xh2_qwen3_32b_256_32k_b1_4chips_2cores_v0.7.0_20251228.gguf

请在使用服务的过程中尽量保持模型文件的名称完整性

3.1.2 模型下载

方式 1：

用户可在指定模型网站下载，如下：https://llm.bee-link.cn/

方式 2（推荐）：

使用 HLAWUtility 工具的模型管理直接下载至本地模型目录：

如下图进入模型管理，模型列表中最左边如果是磁盘图标即为本地已有模型，云朵为云上模型且未下载。

找到所需模型，可以在 Operation 里面点击查看详情，或者直接下载。下载任务将会传递到任务中心，进行下载。

3.1.2 手动配置SD3模型（若不需要可跳过）

由于目前 SD3模型的特殊性，暂时只支持手动下载后进行建立 json 信息文件进行配置。

如下 SD3生图模型目录信息

models/
$ tree
.
├── SD3
│ ├── clip.hmm
│ ├── clip_l.hmm
│ ├── mmdit.hmm
│ ├── t5.hmm
│ └── vae.hmm
└── sd3.json
...

创建json文件描述SD3模型信息

{
"ModelType" : "Sd3",
"XHVersion" : 2,
"ClipModel" : "./SD3/clip.hmm",
"ClipLModel" : "./SD3/clip_l.hmm",
"T5Model" : "./SD3/t5.hmm",
"MMDitModel" : "./SD3/mmdit.hmm",
"VaeModel" : "./SD3/vae.hmm"
}

保存为包含 sd3 字样的 json 文件到配置好的模型目录。

3.2.1 手动配置：

配置文件位于安装目录(默认： C:\Program Files\AI\HLIECpp)的config下面，sys.cfg

[server]
port=7901
# 设备ID, 以数字表示，默认只有0，多个设备用逗号隔开, 如 0,1
devices=0
# 实例副本数量，会启动多个进程，端口会递增+1， 用于负载均衡，多个设备同时运行同一种模型
replicas=1
# 用于多实例场景下节省内存使用，true时多实例的模型加载会有一定时间等待，达成串行效果
memory_saving=false [log]
# debug, info, warn, info
level=info # 4-debug, 3-warn, 2-error 1-info
tcim_level=2 # max files to keep
max_files=7
location=C:\ProgramData\AI\HLIECpp\logs\ [llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja=
--reasoning-format=none
#--reasoning_budget = 0 [model]
# 模型目录
cur_model=D:\models
# 默认LLM/WHISPER模型，不带格式后缀
default=
default_mmproj=
# 是否默认加载SD3
enable_sd3=true
# 针对LLM配置为true时，相关Completions/Embeddings会根据接口中的model参数去自动加载模型
auto_load=true
# LLM模型懒加载
llm_lazy_mode=false

修改配置后，需要重启HLIECpp Service， 可以打开Windows服务，找到HLIECpp Service，然后右键进行重启。

3.2.2 使用工具配置

打开应用后，我们切换到服务配置项，可以在里面修改需要的配置，然后点击保存并确认，并重启服务。

3.1.1 动态加载模型

*###start
POST*http://localhost:7901/models/load
Content-Type:application/json {
"model": "HiModel_xh2_qwen3_32b_256_32k_b1_4chips_2cores_v0.7.0_20251228"
}

注意这里的端口 7901 主要是使用默认服务主进程的配置，有以下场景：

1）如果是多卡场景，需要动态实现多个进程实例，可以直接继续发到这个端口，主进程会 fork 出slave 进程来加载模型。

2）如果已有 llm模型，同时想启动 sd3 文生图，也可以直接

*###startSD
POST*http://localhost:7901/models/load
Content-Type:application/json {
"devices": "1",
"model_type": "sd",
"params": {
"vae_model": "D:/workspace/models/SD3/vae.hmm",
"t5_model": "D:/workspace/models/SD3/t5.hmm",
"clip_model": "D:/workspace/models/SD3/clip.hmm",
"clip_l_model": "D:/workspace/models/SD3/clip_l.hmm",
"mmdit_model": "D:/workspace/models/SD3/mmdit.hmm",
}
}

上面的 devices 执行了卡 1， 如果不想自己指定，可以直接配置 "devices": "undefined", 服务会自动在已有 Devices里面进行分配。

3.1.2 卸载模型

*POST*http://10.65.35.16:7901/models/unload
Content-Type:application/json {
"model_type": "llm"
}

注意这里的端口 7901是根据推理服务各个进程实例来配置的

3.1.3 停止服务实例进程接口

*###stop
POST*http://localhost:7901/hlie/v1/stop
Content-Type:application/json {
"instance_id": 0,
"process_id": 0
}

如果 instance_id 是 0 那么是停止主进程的所有模型，全部卸载。

如果instance_id > 0, process_id > 0, 主进程会去找子进程然后 kill 掉进程。

注意，接口不会杀死主进程，只会卸载主进程的所有模型，主进程是常驻的。

3.3.4 获取服务所有的实例信息

*###status
GET*http://localhost:7901/hlie/v1/status
Content-Type:application/json

4.6.1 深度思考配置

可以在配置文件中的 llm_params 区域内添加参数 --reasoning_budget = 0 就可以避免深度思考

#之前的配置 [llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja=
--reasoning-format=none
--reasoning_budget=0 #继续之后的内容

4.6.2 llama.cpp 关键采样参数详解

4.6.3 不同场景推荐配置

1. 📑 会议纪要（追求稳定、少废话）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--reasoning_budget = 0
--repeat-penalty = 1. 2
--presence-penalty = 0. 2
--frequency-penalty = 0. 2
--repeat-last-n = 256
--top-k = 40
--top-p = 0. 9
--temp = 0. 5

1. ✍️ 文稿撰写（需要创意和多样性）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--reasoning_budget = 0
--repeat-penalty = 1. 05
--presence-penalty = 0. 8
--frequency-penalty = 0. 5
--repeat-last-n = 512
--top-k = 80
--top-p = 0. 95
--temp = 0. 8

1. 🤖 聊天机器人（自然、互动性强）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--repeat-penalty = 1. 1
--presence-penalty = 0. 6
--frequency-penalty = 0. 3
--repeat-last-n = 256
--top-k = 50
--top-p = 0. 9
--temp = 0. 7

4.7.1 模型加载

• Curl 命令：

curl -X POST "http://localhost:7901/hlie/v1/start" \
-H "Content-Type: application/json" \
-d '{ "model_type": "whisper", "model": "HiModel_xh2_whisper-medium_1.5b_256_1chip_2cores_v1.0.0_20260228" }'

• AI 助手：

4.7.2 HTTP推理

curl-XPOST "http://127.0.0.1:7901/v1/audio/transcriptions" \
-H "Content-Type: multipart/form-data" \
-F"file=@E:/test_data/audio/long_2.wav"

4.7.3 Websocket推理

可以使用相关脚本或者服务连接"ws://127.0.0.1:7999"

然后按顺序发送音频 float32类型字节流并以字符串 EOS 结尾，进行推理。

参考Python 脚本：

#!/usr/bin/env python3 # -*- coding: utf-8 -*- *"""*
* Whisper.cpp / miniaudio Compatible WebSocket Audio Stream Client* *功能:*
* 1. 读取 wav 音频*
* 2. 转 mono*
* 3. 重采样到 16k*
* 4. 转 float32 PCM [-1,1]*
* 5. websocket 流式发送* * 目标:*
* 与 whisper.cpp 中 miniaudio 的行为尽可能一致* * 数据格式:*
* float32 PCM*
* 16000Hz*
* mono* *发送协议:*
* binary:*
* float32 PCM bytes* * text:*
* EOS*
* """* import asyncio
import time
from pathlib import Path import numpy as np
import soundfile as sf
import websockets
from loguru import logger
from scipy import signal # ============================================================================= # Config # ============================================================================= TARGET_SAMPLE_RATE = 16000 # 1000ms chunk
CHUNK_DURATION_MS = 1000 # websocket uri
WS_URI = "ws://10.65.32.191:7999" # audio file
AUDIO_FILE = "D:/workspace/wtt//llm/hi.cpp/samples/zero_shot_prompt.wav" # ============================================================================= # Logger # ============================================================================= logger. remove () logger. add ( sink=lambda msg : print (msg, end=""), level="INFO", format=( "<green>{time:YYYY-MM-DD HH:mm:ss.SSS}</green> | " "<level>{level: </level> | " "{message}" ),) logger. add ( "asr_websocket_test.log", level="DEBUG", rotation="10 MB", retention=5, encoding="utf-8",) # ============================================================================= # Audio Process # ============================================================================= def load_audio (file_path : str) -> np. ndarray : *"""*
* 加载音频并转换成:* * float32*
* mono*
* 16000Hz*
* [-1,1]* * 尽量模拟 miniaudio 行为*
* """* * *logger. info (f"Loading audio:{file_path}") # soundfile: # int16 wav -> int16 # float wav -> float data, sample_rate = sf. read (file_path) logger. info ( f"Original audio info: " f"sample_rate={sample_rate}, " f"shape={data.shape}, " f"dtype={data.dtype}" ) # ========================================================================= # Convert to mono # ========================================================================= if data. ndim > 1 : logger. info ( f"Convert multi-channel -> mono " f"(channels={data.shape[1]})" ) # IMPORTANT: # whisper.cpp/miniaudio: # left + right # # NOT: # (left + right) / 2 # # 这里使用 sum 更接近 whisper.cpp data = np. sum (data, axis=1) # ========================================================================= # Resample to 16k # ========================================================================= if sample_rate != TARGET_SAMPLE_RATE : logger. info ( f"Resample audio: " f"{sample_rate}Hz ->{TARGET_SAMPLE_RATE}Hz" ) num_samples = int ( len (data) * TARGET_SAMPLE_RATE / sample_rate ) data = signal. resample ( data, num_samples,) sample_rate = TARGET_SAMPLE_RATE # ========================================================================= # Convert to float32 # ========================================================================= if data. dtype == np. int16 : logger. info ("Convert int16 -> float32") data = data. astype (np. float32) / 32768.0 elif data. dtype == np. int32 : logger. info ("Convert int32 -> float32") data = data. astype (np. float32) / 2147483648.0 elif data. dtype != np. float32 : logger. info (f"Convert{data.dtype} -> float32") data = data. astype (np. float32) # ========================================================================= # Clip # ========================================================================= # 防止 stereo 相加后超过 [-1,1] data = np. clip (data, -1.0, 1.0) duration = len (data) / TARGET_SAMPLE_RATE logger. success ( f"Audio ready: " f"samples={len(data)}, " f"duration={duration:.2f}s, " f"dtype={data.dtype}" ) return data # ============================================================================= # WebSocket Stream # ============================================================================= async def stream_audio ( websocket, pcmf32 : np. ndarray,): *"""*
* websocket 流式发送 float32 PCM*
* """* * *chunk_size = int ( TARGET_SAMPLE_RATE * CHUNK_DURATION_MS / 1000 ) total_chunks = ( len (pcmf32) + chunk_size - 1 ) // chunk_size logger. info ( f"Start streaming: " f"chunk_duration={CHUNK_DURATION_MS}ms, " f"chunk_size={chunk_size}, " f"total_chunks={total_chunks}" ) start_time = time. time () for chunk_index, start in enumerate ( range (0, len (pcmf32), chunk_size), start=1,): end = start + chunk_size chunk = pcmf32 [start : end] # binary float32 pcm binary = chunk. astype (np. float32). tobytes () await websocket. send (binary) chunk_duration = ( len (chunk) / TARGET_SAMPLE_RATE ) logger. info ( f"[Chunk{chunk_index}/{total_chunks}] " f"samples={len(chunk)}, " f"bytes={len(binary)}, " f"duration={chunk_duration:.3f}s" ) # 模拟真实实时发送 await asyncio. sleep (chunk_duration) elapsed = time. time () - start_time logger. success ( f"Audio stream completed (elapsed={elapsed:.2f}s)" ) # ============================================================================= # Main # ============================================================================= async def simulate_frontend_stream ( file_path : str, uri : str,): if not Path (file_path). exists (): logger. error ( f"Audio file not found:{file_path}" ) return # load audio pcmf32 = load_audio (file_path) logger. info (f"Connecting websocket:{uri}") try : async with websockets. connect ( uri, max_size=20 * 1024 * 1024, ping_interval=20, ping_timeout=20,) as websocket : logger. success ("WebSocket connected") # stream audio await stream_audio ( websocket, pcmf32,) # EOS logger. info ("Sending EOS") await websocket. send ("EOS") # wait result logger. info ("Waiting ASR result...") result = await asyncio. wait_for ( websocket. recv (), timeout=30.0,) logger. success ( f"ASR Result:\n{result}" ) except asyncio. TimeoutError : logger. error ( "Timeout waiting ASR result" ) except websockets. ConnectionClosed as e : logger. error ( f"WebSocket closed: " f"code={e.code}, " f"reason={e.reason}" ) except Exception as e : logger. exception ( f"Unexpected error:{e}" ) finally : logger. info ("Test finished") # ============================================================================= # Entry # ============================================================================= if __name__ == "__main__" : asyncio. run ( simulate_frontend_stream ( AUDIO_FILE, WS_URI,) )

4.8.1 模型加载

• Curl 命令：

curl -X POST "http://localhost:7901/hlie/v1/start" \
-H "Content-Type: application/json" \
-d '{ "model_type": "cosyvoice", "model": "HiModel_xh2_cosyvoice3_0.5b_1chip_2cores_v1.1.0-20260409" }'

• AI 助手：

4.8.2 HTTP推理

curl -X POST "http://localhost:7901/v1/audio/speech" \
-H "Content-Type: application/json" \
--max-time 600 \
-d '{ "input": "君不见，黄河之水天上来，奔流到海不复回。君不见，高堂明镜悲白发，朝如青丝暮成雪！人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。烹羊宰牛且为乐，会须一饮三百杯。岑夫子，丹丘生，将进酒，杯莫停。与君歌一曲，请君为我倾耳听。钟鼓馔玉不足贵，但愿长醉不复醒。古来圣贤皆寂寞，惟有饮者留其名。陈王昔时宴平乐，斗酒十千恣欢谑。主人何为言少钱，径须沽取对君酌。五花马、千金裘，呼儿将出换美酒，与尔同销万古愁！", "prompt_wav_path": "E:/test_data/tts/zero_shot_0.wav", "prompt_text": "八百标兵奔北坡，北坡炮兵并排跑，炮兵怕把标兵碰，标兵怕碰炮兵炮。" }'

上述参数其中prompt_wav_path的音频必须与 promt_text的文字一一对齐，当然这两个参数也可以都不需要，如：

下面这种方式，在推理时会使用系统自带的默认的prompt。

curl -X POST "http://localhost:7901/v1/audio/speech" \
-H "Content-Type: application/json" \
--max-time 600 \
-d '{ "input": "君不见，黄河之水天上来，奔流到海不复回。君不见，高堂明镜悲白发，朝如青丝暮成雪！人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。烹羊宰牛且为乐，会须一饮三百杯。岑夫子，丹丘生，将进酒，杯莫停。与君歌一曲，请君为我倾耳听。钟鼓馔玉不足贵，但愿长醉不复醒。古来圣贤皆寂寞，惟有饮者留其名。陈王昔时宴平乐，斗酒十千恣欢谑。主人何为言少钱，径须沽取对君酌。五花马、千金裘，呼儿将出换美酒，与尔同销万古愁！" }'

服务配置

以上场景需要在HLIECpp的sys.cfg中有对应的卡配置

[server]
port=7901
# 设备ID, 以数字表示，多个设备用逗号隔开
devices=0, 1
# 实例副本数量，会启动多个进程，端口会递增+1， 用于负载均衡，多个设备同时运行同一种模型 ### 其他配置
### ......

7.6.1 深度思考配置

7.6.1 深度思考配置

sys.cfg

#之前的配置 [llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
#--jinja =
#--reasoning_budget = 0 #继续之后的内容

7.6.2 llama.cpp 关键采样参数详解

7.6.3 不同场景推荐配置

1. 📑 会议纪要（追求稳定、少废话）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--reasoning_budget = 0
--repeat-penalty = 1. 2
--presence-penalty = 0. 2
--frequency-penalty = 0. 2
--repeat-last-n = 256
--top-k = 40
--top-p = 0. 9
--temp = 0. 5

1. ✍️ 文稿撰写（需要创意和多样性）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--reasoning_budget = 0
--repeat-penalty 1. 05
--presence-penalty 0. 8
--frequency-penalty 0. 5
--repeat-last-n 512
--top-k 80
--top-p 0. 95
--temp 0. 8

1. 🤖 聊天机器人（自然、互动性强）

[llm_params]
#llama-server的参数透传，请参考下面或者llamacpp的设置, 请使用完整option: --xxx = xx， 没有值的请留空
--jinja =
--reasoning-format = none
--repeat-penalty 1. 1
--presence-penalty 0. 6
--frequency-penalty 0. 3
--repeat-last-n 256
--top-k 50
--top-p 0. 9
--temp 0. 7

7.7.1 模型加载

• Curl 命令：

curl -X POST "http://localhost:7901/hlie/v1/start" \
-H "Content-Type: application/json" \
-d '{ "model_type": "whisper", "model": "HiModel_xh2_whisper-medium_1.5b_256_1chip_2cores_v1.0.0_20260228" }'

• AI 助手：

7.7.2 HTTP推理

curl-XPOST "http://127.0.0.1:7901/v1/audio/transcriptions" \
-H "Content-Type: multipart/form-data" \
-F"file=@E:/test_data/audio/long_2.wav"

7.7.3 Websocket推理

可以使用相关脚本或者服务连接"ws://127.0.0.1:7999"

然后按顺序发送音频 float32类型字节流并以字符串 EOS 结尾，进行推理。

参考Python 脚本：

#!/usr/bin/env python3 # -*- coding: utf-8 -*- *"""*
* Whisper.cpp / miniaudio Compatible WebSocket Audio Stream Client* *功能:*
* 1. 读取 wav 音频*
* 2. 转 mono*
* 3. 重采样到 16k*
* 4. 转 float32 PCM [-1,1]*
* 5. websocket 流式发送* * 目标:*
* 与 whisper.cpp 中 miniaudio 的行为尽可能一致* * 数据格式:*
* float32 PCM*
* 16000Hz*
* mono* *发送协议:*
* binary:*
* float32 PCM bytes* * text:*
* EOS*
* """* import asyncio
import time
from pathlib import Path import numpy as np
import soundfile as sf
import websockets
from loguru import logger
from scipy import signal # ============================================================================= # Config # ============================================================================= TARGET_SAMPLE_RATE = 16000 # 1000ms chunk
CHUNK_DURATION_MS = 1000 # websocket uri
WS_URI = "ws://10.65.32.191:7999" # audio file
AUDIO_FILE = "D:/workspace/wtt//llm/hi.cpp/samples/zero_shot_prompt.wav" # ============================================================================= # Logger # ============================================================================= logger. remove () logger. add ( sink=lambda msg : print (msg, end=""), level="INFO", format=( "<green>{time:YYYY-MM-DD HH:mm:ss.SSS}</green> | " "<level>{level: </level> | " "{message}" ),) logger. add ( "asr_websocket_test.log", level="DEBUG", rotation="10 MB", retention=5, encoding="utf-8",) # ============================================================================= # Audio Process # ============================================================================= def load_audio (file_path : str) -> np. ndarray : *"""*
* 加载音频并转换成:* * float32*
* mono*
* 16000Hz*
* [-1,1]* * 尽量模拟 miniaudio 行为*
* """* * *logger. info (f"Loading audio:{file_path}") # soundfile: # int16 wav -> int16 # float wav -> float data, sample_rate = sf. read (file_path) logger. info ( f"Original audio info: " f"sample_rate={sample_rate}, " f"shape={data.shape}, " f"dtype={data.dtype}" ) # ========================================================================= # Convert to mono # ========================================================================= if data. ndim > 1 : logger. info ( f"Convert multi-channel -> mono " f"(channels={data.shape[1]})" ) # IMPORTANT: # whisper.cpp/miniaudio: # left + right # # NOT: # (left + right) / 2 # # 这里使用 sum 更接近 whisper.cpp data = np. sum (data, axis=1) # ========================================================================= # Resample to 16k # ========================================================================= if sample_rate != TARGET_SAMPLE_RATE : logger. info ( f"Resample audio: " f"{sample_rate}Hz ->{TARGET_SAMPLE_RATE}Hz" ) num_samples = int ( len (data) * TARGET_SAMPLE_RATE / sample_rate ) data = signal. resample ( data, num_samples,) sample_rate = TARGET_SAMPLE_RATE # ========================================================================= # Convert to float32 # ========================================================================= if data. dtype == np. int16 : logger. info ("Convert int16 -> float32") data = data. astype (np. float32) / 32768.0 elif data. dtype == np. int32 : logger. info ("Convert int32 -> float32") data = data. astype (np. float32) / 2147483648.0 elif data. dtype != np. float32 : logger. info (f"Convert{data.dtype} -> float32") data = data. astype (np. float32) # ========================================================================= # Clip # ========================================================================= # 防止 stereo 相加后超过 [-1,1] data = np. clip (data, -1.0, 1.0) duration = len (data) / TARGET_SAMPLE_RATE logger. success ( f"Audio ready: " f"samples={len(data)}, " f"duration={duration:.2f}s, " f"dtype={data.dtype}" ) return data # ============================================================================= # WebSocket Stream # ============================================================================= async def stream_audio ( websocket, pcmf32 : np. ndarray,): *"""*
* websocket 流式发送 float32 PCM*
* """* * *chunk_size = int ( TARGET_SAMPLE_RATE * CHUNK_DURATION_MS / 1000 ) total_chunks = ( len (pcmf32) + chunk_size - 1 ) // chunk_size logger. info ( f"Start streaming: " f"chunk_duration={CHUNK_DURATION_MS}ms, " f"chunk_size={chunk_size}, " f"total_chunks={total_chunks}" ) start_time = time. time () for chunk_index, start in enumerate ( range (0, len (pcmf32), chunk_size), start=1,): end = start + chunk_size chunk = pcmf32 [start : end] # binary float32 pcm binary = chunk. astype (np. float32). tobytes () await websocket. send (binary) chunk_duration = ( len (chunk) / TARGET_SAMPLE_RATE ) logger. info ( f"[Chunk{chunk_index}/{total_chunks}] " f"samples={len(chunk)}, " f"bytes={len(binary)}, " f"duration={chunk_duration:.3f}s" ) # 模拟真实实时发送 await asyncio. sleep (chunk_duration) elapsed = time. time () - start_time logger. success ( f"Audio stream completed (elapsed={elapsed:.2f}s)" ) # ============================================================================= # Main # ============================================================================= async def simulate_frontend_stream ( file_path : str, uri : str,): if not Path (file_path). exists (): logger. error ( f"Audio file not found:{file_path}" ) return # load audio pcmf32 = load_audio (file_path) logger. info (f"Connecting websocket:{uri}") try : async with websockets. connect ( uri, max_size=20 * 1024 * 1024, ping_interval=20, ping_timeout=20,) as websocket : logger. success ("WebSocket connected") # stream audio await stream_audio ( websocket, pcmf32,) # EOS logger. info ("Sending EOS") await websocket. send ("EOS") # wait result logger. info ("Waiting ASR result...") result = await asyncio. wait_for ( websocket. recv (), timeout=30.0,) logger. success ( f"ASR Result:\n{result}" ) except asyncio. TimeoutError : logger. error ( "Timeout waiting ASR result" ) except websockets. ConnectionClosed as e : logger. error ( f"WebSocket closed: " f"code={e.code}, " f"reason={e.reason}" ) except Exception as e : logger. exception ( f"Unexpected error:{e}" ) finally : logger. info ("Test finished") # ============================================================================= # Entry # ============================================================================= if __name__ == "__main__" : asyncio. run ( simulate_frontend_stream ( AUDIO_FILE, WS_URI,) )

7.8.1 模型加载

• Curl 命令：

curl -X POST "http://localhost:7901/hlie/v1/start" \
-H "Content-Type: application/json" \
-d '{ "model_type": "cosyvoice", "model": "HiModel_xh2_cosyvoice3_0.5b_1chip_2cores_v1.1.0-20260409" }'

• AI 助手：

7.8.2 HTTP推理

curl -X POST "http://localhost:7901/v1/audio/speech" \
-H "Content-Type: application/json" \
--max-time 600 \
-d '{ "input": "君不见，黄河之水天上来，奔流到海不复回。君不见，高堂明镜悲白发，朝如青丝暮成雪！人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。烹羊宰牛且为乐，会须一饮三百杯。岑夫子，丹丘生，将进酒，杯莫停。与君歌一曲，请君为我倾耳听。钟鼓馔玉不足贵，但愿长醉不复醒。古来圣贤皆寂寞，惟有饮者留其名。陈王昔时宴平乐，斗酒十千恣欢谑。主人何为言少钱，径须沽取对君酌。五花马、千金裘，呼儿将出换美酒，与尔同销万古愁！", "prompt_wav_path": "E:/test_data/tts/zero_shot_0.wav", "prompt_text": "八百标兵奔北坡，北坡炮兵并排跑，炮兵怕把标兵碰，标兵怕碰炮兵炮。" }'

上述参数其中prompt_wav_path的音频必须与 promt_text的文字一一对齐，当然这两个参数也可以都不需要，如：

下面这种方式，在推理时会使用系统自带的默认的prompt。

curl -X POST "http://localhost:7901/v1/audio/speech" \
-H "Content-Type: application/json" \
--max-time 600 \
-d '{ "input": "君不见，黄河之水天上来，奔流到海不复回。君不见，高堂明镜悲白发，朝如青丝暮成雪！人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。烹羊宰牛且为乐，会须一饮三百杯。岑夫子，丹丘生，将进酒，杯莫停。与君歌一曲，请君为我倾耳听。钟鼓馔玉不足贵，但愿长醉不复醒。古来圣贤皆寂寞，惟有饮者留其名。陈王昔时宴平乐，斗酒十千恣欢谑。主人何为言少钱，径须沽取对君酌。五花马、千金裘，呼儿将出换美酒，与尔同销万古愁！" }'

硬件要求（最低）

• CPU结构：x86_64/ aarch64

• 硬盘：200G

• AI硬件：M50

软件要求

• 操作系统：Ubuntu 20.04

• 驱动版本：

  • M50-v1.0.0

安装依赖

建议python3环境>=3.10， 建议3.10 或者3.12

pip3install-rscripts/requirements-convert_hm_to_gguf.txt

量化编译模型

模型的编译量化参考文档。具体文档下载路径见文档中心https://模型资源中心/doc

执行转换脚本

1. 下载官方配置文件。

如从魔塔社区下载，下载到your_local_dir （和hmm放在同一个文件夹内）

modelscopedownload--modeldeepseek-ai/DeepSeek-R1-0528-Qwen3-8B--exclude '*.safetensors'--local_diryour_local_dir

1. 执行转换操作。（qwen2.5、qwen3 等模型的转换，qwenvl和deepseek转换参考3，4）

python3convert_hm_to_gguf.pyyour_local_dir/

1. qwen2.5-vl 转换

文本模型转换

# 文本模型指定vit 模型的width & height
python3convert_hm_to_gguf.pyyour_local_dir/

视觉模型转换

python3convert_hm_to_gguf.pyyour_local_dir/--mmproj--outfileyour_local_dir/mmproj.gguf

1. bge-m3/bge-reranker-v2-ms模型转换

需要将hmm文件重命名为embedding.hmm。 其他和上面流程一致。

modelscopedownload--modelBAAI/bge-m3--exclude '*.safetensors'--local_dirbge-m3
# 将hmm文件重命名为embedding.hmm
python3convert_hm_to_gguf.pybge-m3

1. deepseek的转换

当前deepseek-qwen3 转换会报错，

convert_hm_to_gguf.py ", line 1029, in get_vocab_base_pre
 raise NotImplementedError(
 NotImplementedError: BPE pre-tokenizer was not recognized - update get_vocab_base_pre()

可以通过如下方式更新tokenizer.json文件来解决。

from transformers import AutoTokenizer * # 替换成你目标模型的正确 HuggingFace 模型名称，比如：*
model_name = "deepseek-ai/[DeepSeek-R1-0528-Qwen3-8B](https://huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B)" * # 请确认这个名称是否正确！* * # 下载到本地缓存 ~/.cache/huggingface...*
tokenizer = AutoTokenizer. from_pretrained (model_name) # 执行下面命令将*.json 保存到your_local_dir
tokenizer. save_pretrained (your_local_dir)

查询云端发布的参考模型列表

支持size\batch\device\target 等过滤。如： target=xh2

CTX: 表示模型最大上下文长度

BATCH: 是否是多batch模型

DEVICE: 表示是单卡模型还是多卡模型。 如2 表示双卡模型，需要跑在DM.2或者多芯PCIE卡上.

FILES： 表示几个gguf文件，通常多模型模型为2个。

BUILD: 表示模型使用哪个版本的工具链编译的。

user@user-System-Product-Name:~/dev/tools$./model-cliquery
Auto-detectedtarget:xh2
Fetchingfrom:https://llm.bee-link.cn//models?build_version=1.0.0&format=gguf&open_type=cloud&target=xh2 Found 23models:
IDNAMESIZEBUILDCTXBATCHDEVICETARGETCORESFILES
----------------------------------------------
1767880490946qwen3-vl4b 1.0.0 16384 1 1xh2 2 2
1767880490947qwen314b 1.0.0 32768 1 2xh2 2 1
1767880490948qwen332b 1.0.0 32768 1 4xh2 2 1
1767880490949qwen2.57b 1.0.0 8192 1 1xh2 2 1
1767880490950qwen2.57b 1.0.0 32768 1 1xh2 2 1
1767880490951deepseek8b 1.0.0 32768 1 1xh2 2 1
1767880490952gpt20b 1.0.0 65536 1 1xh2 2 1
1767880490955gte 1.5b 1.0.0 2048 1 1xh2 2 1
1767880490956bge 0.5b 1.0.0 32768 1 1xh2 2 1
1767880490957bge-reranker-v2-m3 0.5b 1.0.0 32768 1 1xh2 2 1
1767880490958qwen34b 1.0.0 32768 1 1xh2 2 1
1767880490959qwen38b 1.0.0 32768 1 1xh2 2 1
1767880490960qwen38b 1.0.0 16384 4 1xh2 2 1
1767880490961qwen314b 1.0.0 16384 1 1xh2 2 1
1767880490962qwen3-vl4b 1.0.0 32768 1 1xh2 2 2
1767880490963qwen3-vl8b 1.0.0 32768 1 1xh2 2 2
1767880490964qwen2.5-vl7b 1.0.0 8192 1 1xh2 2 2
1767880490965qwen330b-a3b 1.0.0 32768 1 1xh2 2 1
1767880490966qwen3-vl30b-a3b 1.0.0 8192 1 1xh2 2 2
1772188146032qwen3-250730b-a3b 1.0.0 32768 1 1xh2 2 1
1772188325612qwen3-250730b-a3b 1.0.0 32768 1 2xh2 2 1
1772799664016gpt20b 1.0.0 65536 1 2xh2 2 1
1772878235701gpt20b 1.0.0 131072 1 1xh2 2 1 Todownload:./model-clipull<ID>

模型模型下载默认路径为：相对model-cli 的路径，../models目录

亦可以通过--model-path 执行下载路径。

本地模型管理

【需要llama-server以--models-dir 方式启动】

• list 列出已经加载的模型

• run：加载一个模型

加载需要时间，实际返回表示已经接收到加载命令，通过ps查看加载结果。

• ps： 查看已经加载的模型

• stop： 为卸载一个已经加载的模型

运行模式说明

# model_name 为gguf模型文件绝对路径
./bin/llama-server-mmodel_name.gguf
# 加载多模态
./bin/llama-server-mmodel_name.gguf--mmprojmmproj.gguf

./bin/llama-server--models-dirmodels

./bin/model-clilist # 列出llama-server 启动时扫描到的模型
./bin/model-clirunmodelname # 加载模型
./bin/model-clistopmodelname # 卸载模型

# 安装指令
sudobashservice/install_llama-server.sh
# 服务管理
sudosystemctlstatusllama-server.service # 查看服务状态
sudosystemctlstartllama-server.service # 启动服务
sudosystemctlstopllama-server.service # 停止服务
sudosystemctlrestartllama-server.service # 重启服务
sudojournalctl-ullama-server.service-f # 实时查看服务日志 # 服务卸载
sudobashservice/uninstall_llama-server.sh

常见运行参数说明

具体的使用参数参考llama-server二进制文件，如果想同时支持并发访问，可以--np 4 (当前限制最大为4，只有多batch模型是真正的并发，单batch的模型是交替执行）

./bin/llama-server--models-dirmodles

./bin/llama-server-m../models/gte_Qwen2-1.5B-Q4_0.gguf--embedding--poolinglast-b 8096-ub 8096

./bin/llama-server-m../models/Qwen3-Reranker-8B-Q4_0.gguf--rerank

export drv_DEVICE_ID=0或者双卡export drv_DEVICE_ID=0,1

user@user-System-Product-Name:~$./dev/llama.cpp/release/xh2/x86_64/bin/llama-server--list-devices
[NPU]LoadingNPUSDK...
[NPU]Tryingtoload:/usr/local/-sdk/hal/lib/libhal_xh2a.so
[NPU]Successfullyloaded:/usr/local/-sdk/hal/lib/libhal_xh2a.so
[NPU]hm_sys_get_device_inforeturned: 1devices
[NPU]Device 0: device_id=0
[NPU]get_mem_inforeturned: 0, mem_total=24448, mem_used=0, mem_avail=24448
[NPU]Finaldevicememory: total=24448MB, free=24448MB
[NPU]Initializationcomplete, 1devicesavailable
Availabledevices:
0:NPULQ50 (ID: 0) (24448MiB, 24448MiBfree)

./bin/llama-server-mmodel_name--port 18080

./bin/llama-server-mmodel_name--reasoning-budget 0【2.1.0之前接口】 ./bin/llama-server-mmodel_name-reaoff【2.1.0版本接口，qwen3.5等需要使用这个参数】

./bin/llama-server-mmodel_name--jinja--chat-template-filebin/qwen3_nonthinking.jinja

--log-file写日志到文件
--log-timestamps为打印uptime的时间，
--verbosity控制等级
- 0:genericoutput
- 1:error
- 2:warning
- 3:info
- 4:debug example
--log-file/home/useradmin/test.log--log-prefix--log-timestamps--verbosity 2

{
"temperature" : 0.8,
"top_p" : 0.9,
"repetition_penalty" : 1.1,
"chat_template_kwargs" : {"enable_thinking" : false}
}

{
"temperature" : 0.8,
"top_p" : 0.9,
"repetition_penalty" : 1.1,
"reasoning" :{"effort" : "low"}
}

-a,--aliasSTRING set alias formodelname (tobeusedbyRESTAPI)

export LLAMA_CHECKPOINT_STORAGE=1
#表示存在device上，0 表示host上
#日志信息：set checkpoint_storage_ to kDevice from env LLAMA_CHECKPOINT_STORAGE export LLAMA_CHECKPOINT_INTERVAL=1024
#表示每隔多少个tokens 保存一次，默认1024， 最大40960

./bin/llama-server-m~/dev/models/HiModel_xh2_qwen3.6_27b_mtp_256_128k_1chip_2cores_v1.3.0_20260603.gguf--spec-typedraft-mtp--spec-draft-n-max 4

curl-XPOST "http://127.0.0.1:17701/v1/audio/transcriptions" \
-H "Content-Type: multipart/form-data" \
-F"model=Qwen3-ASR" \
-F"file=@E:/test_data/audio/test.wav"

curl-XPOST "http://127.0.0.1:17701/v1/audio/transcriptions" \
-F"file=@E:/test_data/audio/test.wav;type=audio/wav" \
-F"model=Qwen3-ForcedAligner-0.6B" \
-F"response_format=json" \
-F"asr_force_align=true" \
-F"text=HE BEGAN A CONFUSED COMPLAINT AGAINST THE WIZARD WHO HAD VANISHED BEHIND THE CURTAIN ON THE LEFT" \
-F"language=English"

控制台统计信息展示

测试

hlaw_ollama

该工具为定制版本ollma，可以使用service目录的install 脚本将安装为service方式运行。具体使用方式参考HLAWOllama 部署及使用。该工具只作为Demo使用。

llama-gguf

llama-gguf xx.gguf r 类似于gguf-dump能力

llama-gguf-split

该工具可以从定制模型中切分出prefill.hmm &decoder.hmm，目前只支持qwenvl等pd分类模型。配合工具链发布的readhmm工具可以读取模型信息。本工具主要用于模型追溯，问题定位。

其次可以基于该工具，基于编译后的模型，无需转换gguf，可快速测试验证不同上下文的模型。以qwen3_8b 模型为例，切分后的模型分为三个部分：

1. qwen3_8b_00001-of-00003.gguf，这个gguf中包含vocab+embedding

2. qwen3_8b_00002-of-00003.gguf，这个gguf为prefill.hmm

3. qwen3_8b_00003-of-00003.gguf，这个gguf为decoder.hmm

编译不同上下文的模型，vocab+embedding是共享的，变化的是后面两个，只需要将prefill和decode模型分别覆盖00002 和00003即可。加载模型只需要-m 指定qwen3_8b_00001-of-00003.gguf 这个即可.

llama-cli

命令行版本，基本功能同开源版本。

VL 模型使用说明

使用VL模型先阅读这部分内容。

1. 当前VIT模型只支持固定分辨率的，假如：默认提供448*448分辨率，故送给llama-server的图片都会被resize。resize成448*448. 建议调用openai 兼容接口时，调用方完成resize 操作，这样有两个优点：

   1. 减少http调用传输开销

   2. llama.cpp 中默认是cpu执行的resize，可能不是最高效的。

2. 当前llama 中的resize 逻辑为等比例压缩再pad，贴到左上角，剩余补(114,114,114)，针对检查框类任务，给出的框是针对resize之后的图片，需要自行换算回去。其次做目标检测返回的bbox 通常是0~1 之间或者0~1000分辨率。

qwen3.5 类模型使用建议

1. 24G卡跑qwen3.5 35B-A3B 支持吃np=1

2. 建议qwen3.5 类模型启动参数加上--presence_penalty 1.5

官方建议如下：

Ubuntu 系统创建python3.11环境

用conda创建python3.11虚拟环境：-n 后面指定虚拟环境名

condacreate-nvllm_env python=3.11-y

激活虚拟环境：

condaactivatevllm_env

0)检查确认tcim runtime是否安装-以及推理卡的固件版本是否匹配

未安装 tcim_runtime 的，请从以下链接下载对应版本的 runtime（注意选择与驱动匹配的版本）：https://dr.bee-link.cn/download/dXBsb2Fkcy9MTE0vUnVudGltZS1TREsvaG91bW9fdGNpbV9ydW50aW1lX3hoMl9saW51eF94ODZfNjQtMV80XzBfdGFyLmd6/h/ca681089f70cbf5962aedfd56d866ba1按照下面步骤安装运行时tcim runtime v1.x?包，同时注意推理卡上的固件版本跟驱动版本要匹配（如果已经安装过运行时-且推理卡上的固件版本确认匹配，此步可跳过）

首先进入到上面创建的python虚拟环境，确保操作系统安装了gcc 、g++，且版本支持C++11，否则运行时tcim runtime会安装失败

没安装的话执行下面的命令安装：

sudoaptinstallg++

然后执行下面的命令安装tcim runtime包：

Linux系统:注意根据cpu架构，选择对应版本
x86平台：
1.3.0的runtime包
pipinstallhttp://10.10.1.53:8082/artifactory/drv_software/release_xh2_v1.3.0/2026/05/19/0015/ubuntu2004/drv_tcim_runtime_xh2_linux_x86_64-1.3.0.tar.gz-ihttps://mirrors.aliyun.com/pypi/simple/ arm平台：
1.3.0的runtime包
pipinstalldrv_tcim_runtime_xh2_linux_aarch64-1..0.tar.gz-ihttps://mirrors.aliyun.com/pypi/simple/

1)安装版本vLLM-并设置相关变量

注意：需要先安装HLIEvLLM，再安装HLIEvLLMPlugin.这步会安装HLIEvLLM依赖的软件包，需要点时间。正常10-20分钟左右能安装完。

a.Linux系统安装HLIEvLLM

HLIEvLLM从1.3.0版本开始，优先使用vllm官方建议的tcmalloc-minimal和omp库，按照官方说明，要先安装下面几个依赖项：

依赖项1：
sudoapt-getinstalllibnuma-dev 依赖项2：
sudoapt-getinstall-y--no-install-recommendslibtcmalloc-minimal4
sudofind/usr-namelibtcmalloc_minimal*so
返回的路径要用到下面的环境变量设置中 依赖项3:
sudoapt-getinstalllibomp5libomp-dev
sudofind/usr-namelibomp*so* 设置下面的环境变量，以便找到相关的库
export IOMP_PATH=/上面findomp命令返回的路径/libomp.so.5
export TC_PATH=/上面findtcmalloc命令返回的路径/libtcmalloc_minimal.so.4
export LD_PRELOAD="$TC_PATH:$IOMP_PATH:$LD_PRELOAD"
echo $LD_PRELOAD
x86平台LD_PRELOAD变量输出示例如下：
/usr/lib/x86_64-linux-gnu/libtcmalloc_minimal.so.4:/usr/lib/x86_64-linux-gnu/libomp.so.5: arm平台LD_PRELOAD变量输出示例如下：
/usr/lib/aarch64-linux-gnu/libtcmalloc_minimal.so.4:/usr/lib/aarch64-linux-gnu/libomp.so.5:

b.下载vllm 版本

解压压缩包，进到解压后的文件夹，如“HLIEvLLM-1.3.0”，执行下面的命令安装vllm(因为要下载依赖项，预计10分钟左右可以安装完)：

Ubuntu 22.04 及以下的ubuntu系统，默认 gcc 版本低于 12.3，需要升级gcc版本，否则vllm编译报错，按下面方法升级（gcc 版本大于等于 12.3 可以不用升级）：

# 1. 添加官方源（针对 Ubuntu 20.04/22.04）
sudo add-apt-repository ppa:ubuntu-toolchain-r/test -y
sudo apt update # 2. 安装 gcc-13 和 g++-13,如果下载较慢，ctrl—c终止，然后重新下载试试，速度不低于200KB/s就行。速度如果一直较慢，请设置clash 翻墙代理，正常不到10分钟可以安装完成
sudo apt install -y gcc-13 g++-13 # 3. 设置为系统默认版本（关键）
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-13 100
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-13 100 # 4. 验证版本（输出应为 13.+）
gcc --version
g++ --version

先确认gcc和g++ 版本大于等于12.3，然后进到解压后的文件夹，如“HLIEvLLM-1.3.0”执行下面的命令安装版本vllm：v1.4.0preview版本安装完记得把fastapi 版本降级到0.136.3或者0.136.1，正式版会修复此问题，preview发版后发现fastapi版本升级了，最新版fastapi不兼容。参考第3章的3.1说明

VLLM_TARGET_DEVICE=cpupipinstall-e.--extra-index-urlhttps://download.pytorch.org/whl/cpu-ihttps://mirrors.aliyun.com/pypi/simple/

如果需要运行audio相关模型，比如下面的Whisper模型，请安装额外的依赖项，进到解压后的文件夹，如“HLIEvLLM-1.3.0”执行下面的命令安装：

VLLM_TARGET_DEVICE=cpupipinstall-e ".[audio]"--extra-index-urlhttps://download.pytorch.org/whl/cpu-ihttps://mirrors.aliyun.com/pypi/simple/

2)安装vllm 推理插件包：

注意：如果安装了老版本的whl插件包，务必先卸载老的包，执行命令pip uninstall HLIEvLLMPlugin 进行卸载。

如果安装过程中，遇到 unsupported instruction vpdpbusd'报错信息，请先设置下面的两个环境变量，再安装：

export CFLAGS="-mno-avx"

export CXXFLAGS="-mno-avx"

whl包安装命令如下：

VLLM_TARGET_DEVICE=pipinstallhlievllmplugin-1.-py3-none-any.whl--no-build-isolation--extra-index-urlhttps://download.pytorch.org/whl/cpu-ihttps://mirrors.aliyun.com/pypi/simple/

安装完成后，通过下面命令输出中的 Location: 值，查看安装位置和源码路径：

pip show HLIEvLLMPlugin

示例路径：/home/useradmin/anaconda3/envs/vllm_env_120rc0/lib/python3.11/site-packages/vllm_/

启动文本类离线推理测试

(vllm_env_szj_v110a4)user@PC:/HLIEvLLM-1.*.* $**python3drv_examples/LLM_example_chat.py

启动多模态离线推理测试

(vllm_env_szj_v110a4)user@PC:~/szj_project/HLIEvLLM-1.*.*$python3drv_examples/LLM_qwen35_vl_example.py

语音‑文本强制对齐模型

使用以下命令执行Qwen3-ForcedAligner-0.6B 模型进行语音和文本的对齐，属于每个文本token 对应语音的时间段。其中，参考文本可以通过语音模型来获取。

【注】需要在hlievllm 环境安装qwen-asr库使用，qwen-asr库会导致transformers 版本降级到4.57.6，使用示例后请手动将transformers 库进行升级避免影响其他模型使用

pythondrv_examples/qwen3_forcealigner_offline.py--model-dir/path/to/Qwen3-ForcedAligner-0.6B--audio/path/to/test.mp3--text "参考文本"--pretty

文本类模型

启动openaiserver 带apikey

vllmserve/home/user/szj_project/models/v1.2.0/qwen3.5_35B_a3b/--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen35--max-num-batched-tokens 262144--max-num-seqs 1--max-model-len 262144--enable-auto-tool-choice--tool-call-parserqwen3_coder--additional-config='{"device_ids":[0]}'

vllmserve/home/user/szj_project/models/qwen3_30b_a3b_v1.2.0--port 12321--host 0.0.0.0--no-enable-prefix-caching--max-num-seqs 1--served-model-nameqwen3_30b_a3b--enable-auto-tool-choice--tool-call-parserhermes--max-num-batched-tokens 32768--max-model-len 32768

vllmserve/home/user/szj_project/models/v1.2.0/qwen3_8b_16k_4batch--port 12321--host 0.0.0.0--no-enable-prefix-caching--max-num-seqs 4--served-model-nameqwen3_8b_b4--enable-auto-tool-choice--tool-call-parserhermes--max-num-batched-tokens 16384--max-model-len 16384

vllmserve/home/user/szj_project/models/v1.2.0/deepseek_8b--port 12321--host 0.0.0.0--no-enable-prefix-caching--max-num-seqs 1--served-model-namedeepseek_8b--enable-auto-tool-choice--tool-call-parserhermes--max-num-batched-tokens 32768--max-model-len 32768

多模态qwen3.5/qwen3.6 vl系列：（支持多张图片）

M50 24G卡支持qwen3.5 /qwen3.6 35B-A3B 视觉语言模型

注意：visual_model_path 跟语言模型不是同一个gguf文件，一般命名为mmproj开头，该文件路径不能用相对路径或者工作目录~ 符号，请用完整的绝对路径，如下面所示：

a)单chip模型启动示例：
vllmserve/home/user/szj_project/models/v1.3.0/qwen35_35b_a3b/--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen35_vl--max-num-batched-tokens 262144--max-num-seqs 1--max-model-len 262144--enable-auto-tool-choice--tool-call-parserqwen3_coder--additional-config='{"enable_cacheprompt":"False","visual_model_path":"/home/user/szj_project/models/v1.3.0/qwen35_35b_a3b/mmproj-qwen3.5-35b-a3b-p256-256K-b1-2core-1d-xh2-v1.3.0-20260420210756.gguf"}' b)多chip模型启动示例-以4chip语言模型+1chip视觉模型启动为例：
vllmserve/home/lenovo/release/models/130/qwen3.6_27b_128k_4chip--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen36_vl--max-num-batched-tokens 131072--max-num-seqs 1--max-model-len 131072--enable-auto-tool-choice--tool-call-parserqwen3_coder--additional-config='{"enable_cacheprompt":"True","visual_model_path":"/home/lenovo/release/models/130/qwen3.6_27b_128k_4chip/mmproj_xh2_qwen3.6_27b_2cores_vit_448x448_v1.3.0_20260603.gguf","device_ids":[0,1,2,3],"vl_device_ids":[3]}' 其中：
"device_ids": [0,1,2,3],指定语言模型跑在哪些卡上，示例是4chip语言模型，跑在devid 0/1/2/3这4张卡
"vl_device_ids": [3]，指定视觉模型跑在哪些卡上，示例是1chipvit模型，跑在devid 3这张卡上
注意：卡的数量，要跟模型实际chip数一致。

测试的话可以通过chatbox附上图片进行测试或者用curl命令，示例如下，其中“url”要换成自己本地的图片或者对应的base64数据，“model”名字和密钥要换成自己设置的值,注意最后的EOF要带上。

curl-XPOST [http://127.0.0.1:12321/v1/chat/completions](http://127.0.0.1:7801/v1/chat/completions)-H "Authorization: Bearer sk-123"-H "Content-Type: application/json"-d@- <<EOF
{
 "model": "qwen35_vl",
 "messages": [
 {"role": "system", "content": "你是一个智能助理"},
 {
 "role": "user",
 "content": [
 {
 "type": "image_url",
 "image_url": {
  "url": "data:image/jpeg;base64,$(base64 -w 0 /home/user/szj_project/-examples-xh2/models/llm/qwen3.5/image_dir/frame85.jpg)"
 },
 "detail":"high"
 },
 {
 "type": "text",
 "text": "请描述图片内容。"
 }
 ]
 }
 ],
 "stream": true
}
EOF

多模态gemma4模型

启动命令：分单芯和多芯模型,

注意：如需开启thinking模式，启动时候要参数，参考下面的示例

单芯模型启动示例：
vllmserve/home/user/szj_project/models/v1.4.0/gemmar4/gemma-4-26B-A4B-it--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-namegemma4--max-num-batched-tokens 32768--max-num-seqs 1--max-model-len 32768--enable-auto-tool-choice--tool-call-parsergemma4--additional-config='{"enable_cacheprompt":"False","visual_model_path":"/home/user/szj_project/models/v1.4.0/gemmar4/gemma-4-26B-A4B-it/gemma-mmproj.gguf","device_ids":[0]}' 多芯模型启动示例：语言模型双芯，vit视觉模型单芯
vllmserve/home/user/vllm_v140_release_teset/models/gemma4_mutlichip/--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-namegemma4--max-num-batched-tokens 32768--max-num-seqs 1--max-model-len 32768--enable-auto-tool-choice--tool-call-parsergemma4--additional-config='{"enable_cacheprompt":"True","visual_model_path":"/home/user/vllm_v140_release_teset/models/gemma4_mutlichip/mmproj_xh2_gemma4-26b-a4b_2cores_vit_448x448_v1.4.0_20260609.gguf","device_ids":[0,1],"vl_device_ids":[3]}' 开启Thinking模式
vllmserve/home/user/szj_project/models/v1.4.0/gemmar4/gemma-4-26B-A4B-it--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-namegemma4--max-num-batched-tokens 32768--max-num-seqs 1--max-model-len 32768--enable-auto-tool-choice--tool-call-parsergemma4--reasoning-parsergemma4--default-chat-template-kwargs '{"enable_thinking": true}'--additional-config='{"enable_cacheprompt":"False","visual_model_path":"/home/user/szj_project/models/v1.4.0/gemmar4/gemma-4-26B-A4B-it/gemma-mmproj.gguf","device_ids":[0]}'--chat-templateexamples/tool_chat_template_gemma4.jinja

投机解码测试

vllmserve/home/user/szj_project/models/v1.4.0/qwen3_14b_speculate--host 0.0.0.0--port 12321--no-enable-prefix-caching--max-num-seqs 1--served-model-nameqwen3_14b--enable-auto-tool-choice--tool-call-parserhermes--max-num-batched-tokens 32768--max-model-len 32768--additional-config='{"enable_cacheprompt":"True"}'--speculative-config '{"model": "/home/user/szj_project/models/v1.4.0/qwen3_0.6B_speculate", "num_speculative_tokens": 5, "method": "draft_model"}'

vllmserve/home/user/szj_project/models/v1.3.0/qwen35_9b_mtp/gguf_main_verify_model/--max-model-len 262144--speculative-config '{"model":"/home/user/szj_project/models/v1.3.0/qwen35_9b_mtp/gguf_draft_model","method": "mtp", "num_speculative_tokens": 5}'--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen35--max-num-batched-tokens 262144--max-num-seqs 1--max-model-len 262144--enable-auto-tool-choice--tool-call-parserqwen3_coder

vllmserve/home/user/szj_project/models/v1.3.0/qwen36_27b_mtp--max-model-len 262144--speculative-config '{"model":"/home/user/szj_project/models/v1.3.0/qwen36_27b_mtp","method": "mtp", "num_speculative_tokens": 5}'--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen35--max-num-batched-tokens 262144--max-num-seqs 1--max-model-len 262144--enable-auto-tool-choice--tool-call-parserqwen3_coder

gpt_oss 20B

启动命令

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1vllmserve/home/user/szj_project/models/v1.0.0/gpt_oss_20b_64K--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-namegpt_oss--max-num-batched-tokens 65536--max-num-seqs 1--max-model-len 65536--enable-auto-tool-choice--tool-call-parseropenai

如果报错：openai_harmony.HarmonyError: error downloading or loading vocab file: failed to download or load vocab file。按照下面的方法解决：(我们自测x86 未遇到此错误，arm上遇到了该错误，gpt-oss需要下面的文件，默认的url可能会下载失败然后报错，按下面方法可以解决)

mkdir-ptiktoken_encodings
curl-L-otiktoken_encodings/o200k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken"
curl-L-otiktoken_encodings/cl100k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken"
export TIKTOKEN_ENCODINGS_BASE=${PWD}/tiktoken_encodings

ASR 模型

vllmserve/path/to/ASR-Model \
--served-model-nameasr-model \
--no-enable-prefix-caching \
--load-formatdummy \
--additional-config='{"visual_model_path": "/path/to/ASR-Model/mmproj-asr-model.gguf"}'

curlhttp://127.0.0.1:8000/v1/audio/transcriptions-H "Content-Type: multipart/form-data"-F"file=@test.wav"-F"model=asr-model"-F"language=zh"-F"response_format=json"-F stream=false

Embedding 模型

启动命令：

vllmserve/home/user/szj_project/models/v1.1.0/qwen3_embedding--port 12321--host 0.0.0.0--no-enable-prefix-caching--served-model-nameqwen3_embed--max-num-batched-tokens 8192--max-num-seqs 1--max-model-len 8192

对应curl测试命令：

curlhttp://127.0.0.1:12321/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-123" \
-d '{"input": "Your text string goes here",
 "model":"qwen3_embed"}'

Rerank 模型

服务启动

vllmserve/data/useradmin/models/v1.2.0/qwen3-reranker--served-model-nameqwen3-reranker-8b--max-model-len 8192--host 0.0.0.0--port 7804--api-keysk-123--hf-overrides='{"architectures": ["Qwen3ForSequenceClassification"], "classifier_from_token": ["no", "yes"], "is_original_qwen3_reranker": true}'

/v1/score 请求

# 单个查询对单个文档
curl-X 'POST' 'http://127.0.0.1:7804/v1/score'-H 'accept: application/json'-H 'Content-Type: application/json'-H "Authorization: Bearer sk-123"-d '{
 "model": "qwen3-reranker-8b",
 "queries": "What is the capital of France?",
 "documents": "The capital of France is Paris."
}' # 单个查询对多个文档
curl-X 'POST' 'http://127.0.0.1:7804/score'-H 'accept: application/json'-H 'Content-Type: application/json'-d '{
 "model": "qwen3-reranker-8b",
 "queries": "What is the capital of France?",
 "documents": [
 "The capital of Brazil is Brasilia.",
 "The capital of France is Paris."
 ]
}'

/v1/rerank 请求

curl-X 'POST' 'http://127.0.0.1:7804/v1/rerank'-H 'accept: application/json'-H 'Content-Type: application/json'-H "Authorization: Bearer sk-123"-d '{
 "model": "qwen3-reranker-8b",
 "query": "What is the capital of France?",
 "documents": [
 "The capital of Brazil is Brasilia.",
 "The capital of France is Paris.",
 "Horses and cows are both animals"
 ]
}'

对齐模型

vllmserve/path/to/Qwen3-ForcedAligner-0.6B \
--served-model-name-model \
--host 0.0.0.0 \
--port 12325 \
--api-keysk-123 \
--runnerpooling \
--enforce-eager \
--hf-overrides '{"architectures": ["Qwen3ASRForcedAlignerForTokenClassification"]}' \
--max-model-len 411 \
--load-formatdummy \
--trust-request-chat-template \
--additional-config '{"visual_model_path": "/path/to/Qwen3-ForcedAligner-0.6B/mmproj-Qwen3-ForcedAligner-Q4_0.gguf"}'

PROMPT='参考文本' curl-s-XPOSThttp://localhost:7803/v1/audio/transcriptions \
-H "Authorization: Bearer sk-123" \
-F"file=@/path/to/test.mp3" \
-F"model=asr-model" \
-F"prompt=${PROMPT}" \
-F"language=chinese" \
-F"response_format=verbose_json"

OCR 模型

启动命令：

vllmserve/home/user/models/glm_ocr--host 0.0.0.0--port 12321--no-enable-prefix-caching--served-model-nameglm-ocr--max-num-batched-tokens 2048--max-num-seqs 1--max-model-len 2048--additional-config '{"visual_model_path":"/home/user/models/glm_ocr/mmproj_xh2_glm-ocr_0.8b_2cores_v1.3.0_20260519.gguf"}'

对应curl测试命令：

curl--location--requestPOST 'http://127.0.0.1:12321/v1/chat/completions'--header 'Content-Type: application/json'--data-raw '{"model":"glm-ocr","messages":[{"role":"user","content":[{"type":"image_url","image_url":{"url":"https://cdn.bigmodel.cn/markdown/1770033643596image.png?attname=image.png"}},{"type":"text","text":"请识别图片中的所有文字。"}]}],"temperature":0,"max_tokens":256}'

本地图片测试命令：

curl-XPOSThttp://127.0.0.1:12321/v1/chat/completions-H "Authorization: Bearer sk-123"-H "Content-Type: application/json"-d@- <<EOF
{
 "model": "glm-ocr",
 "messages": [
 {
 "role": "user",
 "content": [
 {
 "type": "image_url",
 "image_url": {
 "url": "data:image/jpeg;base64,$(base64 -w 0 /tmp/glm_ocr_test.jpg)"
 }
 },
 {
 "type": "text",
 "text": "请识别图片中的所有文字。"
 }
 ]
 }
 ]
}
EOF

硬件要求（最低）

• CPU结构：x86_64、aarch64

• 硬盘：200G

• AI硬件：M50

软件要求

• 操作系统：Ubuntu 20.04+

• 驱动版本：

  • M50-v1.3.0

目录结构

推理服务安装包的目录结构示例如下。

.
├── hliepython
│ ├── config
│ │ ├── app_config.py
│ │ └── __init__.py
│ ├── config.yaml
│ ├── __init__.py
│ ├── main.py
│ ├── model_server
│ │ ├── engines
│ │ │ ├── asr_engine.py
│ │ │ ├── base_engine.py
│ │ │ ├── embedding_engine.py
│ │ │ ├── files
│ │ │ ├── image_engine.py
│ │ │ ├── __init__.py
│ │ │ ├── protocol
│ │ │ ├── text_engine.py
│ │ │ ├── tts_engine.py
│ │ │ └── utils.py
│ │ ├── inference_adapter.py
│ │ ├── utils
│ │ │ ├── convert_gguf_to_hmm.py
│ │ │ ├── gguf_view.py
│ │ │ ├── read_gguf.py
│ │ │ └── test.py
│ │ └── worker.py
│ └── utils
├── PKG-INFO
├── pyproject.toml
└── setup.cfg

服务部署

HLIEPython 依赖 HLIEvLLM 服务，请在安装HLIEPython 前预先安装好HLIEvLLM。

参考文档HLIEvLLM部署和使用指南安装HLIEvLLM。

（1）在零刻AI网站推理框架栏目下载 HLIEPython 安装包并解压（https://llm.bee-link.cn/frameworks.php）

解压压缩包，进到解压后的文件夹，如“HLIEPython-3.0.0”，执行下面的命令安装HLIEPython：

pipinstall-e.

（2）修改启动配置

修改config.yaml配置文件修改要静态启动的模型配置信息。

vim hliepython/config.yaml

【注】

• 【必需】将--max-num-batched-tokens和--max-model-len 这两个参数设置成跟模型最大支持的长度一致

• 静态加载和动态加载当前版本不能同时使用，否则会出现静态和动态模型ID 冲突问题

• Yaml 文件格式较为严格，如果启动失败，有config.yaml 相关错误，请检查config.yaml的格式是否正确，例如：缩进，空格等

# 服务运行配置
server:
main_port: 7800
log_level: "info"
model_root_dir: "/home/useradmin/workspaces/models/v1.2.0" # 模型配置
models:
# Qwen3.5-9B 模型
-name: "Qwen3.5-9B"
instances:
-port: 7801
model_path: "qwen3.5_9B"
model_type: "text" # text、embedding、image、asr、tts
vllm_config:
max-model-len: 65536
max-num-seqs: 1
no-enable-prefix-caching: true
max-num-batched-tokens: 65536
additional_config:
device_ids: [0]
enable_cacheprompt: "False" # # Qwen3.5_VL-35B 模型
# - name: "Qwen3.5-VL_35B"
# instances:
# - port: 7802
# model_path: "qwen3.5_35b"
# model_type: "text"
# vllm_config:
# max-model-len: 262144
# max-num-seqs: 1
# no-enable-prefix-caching: true
# max-num-batched-tokens: 262144
# enable_mm_embeds: true
# additional_config:
# device_ids: [0]
# enable_cacheprompt: "False"
# "vit_model_name": "mmproj-qwen3.5-35b-a3b-p256-256K-b1-2core-1d-xh2-v1.3.0-20260420210756.gguf" # # whisper-medium 模型
# - name: "whisper-medium"
# instances:
# - port: 7803
# model_path: "whisper-medium"
# model_type: "asr"
# additional_config:
# device_ids: [0]
# enable_cacheprompt: ""

配置字段说明：

server：用于配置服务端的启动项

• main_port：主进程端口号

• log_level：日志级别（本版本不可修改）

• vllm_log_level：底层hlievllm 的日志级别

• model_root_dir：用于存放模型的根目录

models：用于配置静态启动的模型

• name：用于配置请求的模型名称，和/v1/models 接口返回的模型ID 一致

• instances：模型实例

  • port：子进程端口号

  • model_path：相对于model_root_dir的 gguf 模型存放目录，每个模型需要创建独立的模型存放gguf 文件

  • model_type：模型类型，本版本支持text、embedding、asr、tts

  • device_ids：设备id

  • vllm_config：用于配置底层vllm 启动的推理引擎核心参数（【注】这里不维护 vLLM 参数白名单，配置了什么就透传什么；如果参数不是当前vLLM 版本的 AsyncEngineArgs 支持项，底层 vLLM 会按自身逻辑报错。）

  • additional_config：额外配置，用于添加hliepython 和 vllm 的一些额外配置项

    • device_ids：配置启动的设备id 编号

    • enable_cacheprompt：确定是否开启kv cache复用

    • vit_model_name：用于添加多模态vit 模型

vLLM 推理引擎可支持配置的核心参数：

服务启动

python-mhliepython.main

查看服务端状态：

curl-XGEThttp://0.0.0.0:7800/hlie/v1/status

查看模型启动状态：

curl-XGEThttp://0.0.0.0:7800/hlie/v1/models

返回参数说明：

• data：模型信息列表

• id：模型id，显示和本地模型目录名称一致

• port：当前模型占用端口，未加载默认为0

• status：当前模型是否已加载，未加载默认为0，加载为1

• object：固定值"model"

• owned_by：所属推理引擎，固定值"HLIEPython"

• created：模型信息创建时间

• aliases：模型别名（本版本未启用）

• tags：模型标识（本版本未启用）

动态加载示例：

加载模型

根据启动配置参数加载对应模型。

curl-XPOSThttp://0.0.0.0:7800/hlie/v1/models-H "Content-Type: application/json"-d '{ "model_name": "Qwen3-0.6B", "server_config": {"device_ids": [0], "model_type" : "text", "vllm_config": {"max-model-len": 16384, "max-num-seqs": 4, "max-num-batched-tokens": 16384}, "additional_config": {"enable_cacheprompt":"True"}}}'

发送推理请求

curl-XPOSThttp://0.0.0.0:7801/v1/chat/completions-H "Authorization: Bearer sk-123"-H "Content-Type: application/json"-d '{"model": "Qwen3-0.6B", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "讲个笑话"}], "stream": true}'

卸载模型

curl-XDELETEhttp://0.0.0.0:7800/hlie/v1/models/Qwen3-0.6B

LLM

curl-XPOSThttp://0.0.0.0:7801/v1/chat/completions-H "Authorization: Bearer sk-123"-H "Content-Type: application/json"-d '{"model": "Qwen3.5-9B", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "讲个笑话"}], "stream": false}'

VLM

将本地图片和网络图片进行对比

curl-XPOSThttp://0.0.0.0:7802/v1/chat/completions-H "Authorization: Bearer sk-123"-H "Content-Type: application/json"-d '{
 "model": "Qwen3.5-VL_4B",
 "messages": [
 {
 "role": "user",
 "content": [
 {
 "type": "image_url",
 "image_url": {
 "url": "file:///path/to/images/test.jpg"
 }
 },
 {
 "type": "image_url",
 "image_url": {
 "url": "https://ask.qcloudimg.com/http-save/yehe-6503436/l8m9wq9ivy.jpeg"
 }
 },
 {
 "type": "text",
 "text": "请描述这两张图片的内容。"
 }
 ]
 }
 ],
 "stream": false
}'

Asr

curl-XPOSThttp://0.0.0.0:7803/v1/audio/transcriptions-H "Authorization: Bearer sk-123"-H "Content-Type: multipart/form-data"-F"model=whisper-medium"-F"language=zh"-F"response_format=json"-F"file=@test.wav"-F"stream=false"

websocket 流式接口：

测试Websocket 接口demo程序：[demo.py]

recv: {"type":"ready","model":"Qwen3-ASR-1.7B","port":7804,"message":"WebSocket ASR 已连接"}
recv: {"type":"ack","message":"配置已更新","language":"zh"} === 模式1：一次性发送整段音频 ===
[FULL] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","chunk_index":1,"final":false} === 模式2：分片实时发送 ===
[CHUNK] recv: {"type":"ack","message":"音频缓冲已清空"}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, and so.","chunk_index":1,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans.","chunk_index":2,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans.","chunk_index":3,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask.","chunk_index":4,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not.","chunk_index":5,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you—ask what you can do for your country.","chunk_index":6,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you—ask what you can do for your country.","chunk_index":7,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you.","chunk_index":8,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","chunk_index":9,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","chunk_index":10,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","chunk_index":11,"final":false}
[CHUNK] recv: {"type":"transcript","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","chunk_index":12,"final":false}
recv: {"type":"done","text":"languageAnd so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country.","final":true}

【注】当前接口的响应数据是递增的，没有只返回“当前小分片的独立结果”，这是因为ASR 强依赖上下文，单片结果会抖动大、断词严重、标点差。

ws 实现是：

1. 每收到一段分片，把分片追加到服务端缓冲区

2. 用“累计到当前为止的完整音频”重新转写

3. 返回当前完整假设文本

可以通过在请求的return_type 设置full 或 delta 字段返回不同的模式。

TTS

curl-XPOSThttp://0.0.0.0:7804/v1/audio/speech \
-H "Authorization: Bearer sk-123" \
-H "Content-Type: application/json" \
-d '{
 "model": "Fun-CosyVoice3-0.5B",
 "input": "你好呀！的同学们。",
 "voice": "default",
 "response_format": "wav"
 }' \
--outputspeech.wav

Embedding

curlhttp://0.0.0.0:7805/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-123" \
-d '{
 "input": "Your text string goes here",
 "model":"qwen3_embed"
 }'

程序使用要求

• 软件要求 本程序兼容 Python 3.7 及以上版本。确保安装了适当的 Python 版本以运行该代码。

• 依赖库 程序需要以下 Python 库：

  • openai：用于访问 OpenAI API 进行推理调用。

可以通过以下命令安装所需依赖：

pip install openai

配置修改

当前推理服务兼容了OpenAI SDK，可执行以下Demo程序访问推理服务程序，注意，请修改以下程序中的base_url 为推理服务启动的机器对应的ip。

示例程序参考

import os
from openai import OpenAI base_url = "0.0.0.0:7801" def create_chat_completion (messages, use_stream=False): client = OpenAI ( base_url=f"http://{base_url}/v1", api_key="sk-xxx",) response = client. chat. completions. create ( model="QWen2.5-7b", messages=messages, stream=use_stream, max_completion_tokens=100, top_p=0.8, frequency_penalty=1.4,) if use_stream : print ("Streaming response:") for chunk in response : print (chunk. choices [0]. delta. content or "", end="", flush=True) print () else : print ("Non-streaming response:") print (response. choices [0]. message. content) def function_chat (): chat_messages = [ { "role" : "system", "content" : "You are a helpful assistant.", }, { "role" : "user", "content" : "讲一个笑话", } ] create_chat_completion (messages=chat_messages, use_stream=False) if __name__ == "__main__" : function_chat ()

执行脚本：

python3 openai_sdk.py