一、课程概况

1、课程总课时

本门课程总课时为2课时，其中理论讲解课时1课时，实操课时1课时。

2、课程性质

本门课程为理实一体化课程。

3、课程前导后续知识

无必须前置课程，但建议有一定 MUSA 知识基础，基础的机器学习理解， Python 编程基础，云服务部署知识基础比如 RESTful, docker, curl 等，并放置在 Musify 大模型训练之后。

二、课程目标

学习者能对大模型推理服务有一定了解，包括 Transformer 架构基础、常见术语、常见优化的手段， Benchmark 标准以及摩尔线程关于推理加速方面的服务（ MTT ）。

三、学习内容

初识大模型推理服务，学习推理服务架构，流程，常见优化手段，并引入摩尔自己的大模型推理服务 vLLM-MTT ；使用 vLLM-MTT 部署大模型推理服务 server ，并现场编写简单的在线/离线的 chat 应用。

四、可提供课程资源

本门课程提供2个学习视频、1个实训单元操作手册。

五、其他补充说明

本课程需要 S4000 机房环境。