岗位描述(节选)
岗位职责
1. 设计并实现面向异构算力设备(移动端、边缘盒子、桌面端)的轻量化推理引擎,覆盖 Android/Linux/Windows 多平台,支持动态模型加载、内存优化、算力感知调度。
2. 针对不同设备算力(ARM NEON、x86 AVX、Mobile GPU),设计模型量化策略(INT4/INT8/FP16),适配主流开源模型(Qwen、Llama、Mistral、Phi等),实现推理延迟 < 500ms、内存占用 < 4GB 的生产级标准。
3. 构建端侧 Agent 执行引擎(AgentCore Harness),实现工具调用、多轮对话、上下文管理、流式输出、离线运行能力,与TianxiAI形成端边云协同闭环。
4. 设计端侧模型蒸馏回灌机制,支持云端大模型能力包向端侧增量更新,实现版本一致性校验、能力感知路由、断点续传与灰度发布。
5. 建立端侧推理性能基准体系(RTF、首……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。