零刻AI - 推理框架

LLM 推理框架

面向 XH2 的 LLM 推理框架：vLLM / C++ / llama.cpp / Python 生态

Windows Linux

houmo-HLIECpp_xh2_2_0_0-win_x64.exe

HLIE C++ 推理服务化框架（Windows x64 版），聚合多种推理引擎，跨平台高性能。

162 MB Windows x64

下载

houmo-HLIELLama-xh2_2_1_0_windows11_x86_64_tar.gz

基于 llama.cpp 社区生态适配和定制（Windows 11 x64 版），高效端侧推理。

26 MB Windows 11 x64

下载

HLIEvLLM-linux_1_4_0rc0.zip

基于 vLLM 社区生态适配和定制，为高并发大模型服务提供稳定推理能力。

52 MB Linux

下载

houmo-HLIECpp_xh2_2_1_0_linux_x86_64.run

HLIE C++ 推理服务化框架（Linux x86_64 版），聚合多种推理引擎，跨平台高性能。

74 MB Linux x86_64

下载

houmo-HLIELLama-xh2_2_0_1_linux_x86_64_tar.gz

基于 llama.cpp 社区生态适配和定制，打通 XH2 AI 卡在 llama.cpp 生态的高效推理。

37 MB Linux x86_64

下载

houmo-HLIELLama-xh2_2_1_0_linux_x86_64_tar.gz

基于 llama.cpp 生态的 LLM 推理框架（Linux x86_64 版，v2.1.0）。

44 MB Linux x86_64

下载

houmo-HLIELLama-xh2_2_1_1_linux_x86_64_tar.gz

基于 llama.cpp 生态的 LLM 推理框架（Linux x86_64 版，v2.1.1）。

44 MB Linux x86_64

下载

houmo-Python-xh2_3_0_1_linux_x86_64_tar.gz

基于 Python 的 LLM 推理框架（Linux x86_64 版，v3.0.1）。

4.9 GB Linux x86_64

下载

Stable Diffusion 推理框架

C++ 实现的 Stable Diffusion 推理框架，支持 SD3 文生图

Windows Linux

houmo-HLIESDCpp-xh2_1_0_0_windows11_x86_64_tar.gz

基于 C++ 的 Stable Diffusion 推理框架（Windows 11 x64 版），支持 SD3 文生图能力。

6.6 MB Windows 11 x64

下载

houmo-HLIESDCpp-xh2_1_0_0_linux_x86_64_tar.gz

基于 C++ 的 Stable Diffusion 推理框架（Linux x86_64 版），支持 SD3 文生图能力。

9.9 MB Linux x86_64

下载

推理框架

LLM 推理框架

Stable Diffusion 推理框架

下载说明