岗位描述(节选)
【岗位职责】
1. 主导端侧AI推理引擎的架构设计与开发,支撑深度学习模型(含大模型)在嵌入式平台的高效部署。
2. 负责大模型(如Qwen、DeepSeek、Llama等)在端侧的全链路推理加速,包括量化、算子加速、投机采样、动态批处理及运行时调度。
3. 深入了解主流AI框架与推理引擎(如TensorRT、vLLM、llama.cpp、SGLang)底层机制,进行二次开发与定制优化。
4. 结合CUDA、HVX等硬件加速能力,实现异构计算资源的统一调度与性能极限压榨。
5. 输出推理引擎架构文档、性能分析报告及部署方案。
【任职要求】
1. 计算机、电子工程、通信工程等相关专业,3年以上高性能计算或AI工程化经验。
2. 精通C/C++与Python,深入理解计算机体系结构,熟悉CPU/GPU/NPU等硬件特性,能够在不同平台上实现高效的推理调度与计算加速。
3. 熟悉TensorR……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。