岗位描述(节选)
岗位职责:
1. 负责大模型推理引擎架构设计与核心模块开发,支撑端侧推理性能优化;
2. 研发面向NPU/DSP等异构计算平台的高性能算子,提升硬件利用效率;
3. 负责大模型出图,低精度量化,图优化,算子下沉等工作。
任职要求:
1. 熟悉常见的推理引擎/框架,如vllm/sglang/mlc-llm等;
2. 3年以上推理引擎开发经验,精通C++/Python,熟悉TVM/MLIR等工具;
3. 深入理解NPU/VPU架构及计算特性,具备芯片软硬件协同优化经验;
4. 熟悉PyTorch/TensorFlow/ONNX等AI推理框架;
5. 熟悉大模型等场景的推理需求。