岗位描述(节选)
1. 负责大模型网关的架构设计与核心代码编写,支撑高并发、低延迟的AI请求调度。
2. 对接国内外主流大模型,实现多模型协议转换、动态权重路由及故障自动熔断降级。
3. 负责新模型接入与效果验证,支撑算法研究员团队高效选型与使用。
4. 负责网关可观测性与质量体系建设,量化成功率、延迟、流式完整性等核心指标,保障服务稳定性。
1.有服务端研发相关经验
2. 精通OpenAI/Anthropic接口细节,有协议转换经验
3. 具备扎实的计算机基础(数据结构、计算机网络、操作系统)
4. 熟悉MySQL数据库,深入理解 Redis缓存设计
5. 有自驱力,能钻研