岗位描述(节选)
岗位职责:
负责多模型(LLM、人脸识别、OCR、ASR、声纹)端侧部署、量化及推理性能调优;
设计并开发统一模型调度框架,实现模型按需加载/热卸载、算力优先级调度,以及NPU和内存资源争抢隔离;
封装统一推理 Runtime,对接各类模型,实现推理任务队列、限流及闲时任务调度;
针对 Center / Mini 等不同配置硬件,制定模型分级和降级策略;
负责数据挖掘离线管线开发,包括人脸聚类、媒体特征提取及模型推理任务执行;
评测模型时延、内存占用及功耗表现,持续优化端侧推理效率。
岗位要求:
本科及以上学历;
具备 2~3 年端侧 AI 模型部署经验,熟悉 NCNN、MNN、Tengine、QNN、ONNX Runtime 等至少一种推理框架;
精通多模态主流评测指标及评测数据集,能够区分学术基准指标与真实端侧业务落地指标,并具备端侧部署性能评测经验;
熟练使用评测工具,能够搭建自动化……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。