vLLM专题（二）：安装-CPU

vLLM 是一个 Python 库，支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明： Intel/AMD x86 vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。

注意 此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。

Python 版本 3.9 至 3.12" Intel/AMD x86 操作系统: Linux 编译器: gcc/g++ >= 12.3.0（可选，推荐） 指令集架构（ISA）: AVX512（可选，推荐）

提示 Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化，以在 Intel 硬件上提供额外的性能提升。