跳到主要内容

vllm训练报错

更新时间:2025-07-17 18:30:25

💡 问题表现:

使用hunyuan等模型进行训练时,出现报错。

📌 问题原因:

vLLM ( Vectorized Large Language Model Infrastructure )是专注于‌文本处理‌的高性能推理框架,目前‌不支持视频、图片类型的数据处理‌。其核心功能集中在优化大模型的文本推理性能,通过显存分页管理、连续批处理等技术提升推理效率,适用于长文本、多轮对话等场景。

✅ 解决方法:

更换模型后重试。