数据采集&解析工程师

【数据采集工程师】 工作职责 1、负责分布式爬虫系统的设计与优化 2、负责大规模广域爬虫引擎的部署、开发、维护 3、负责大规模网页数据采集系统开发，互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类 【数据解析工程师】 工作职责： 1、负责百亿级搜索内容解析系统建设，持续提升解析效果和性能 2、应用大模型技术，提升数据解析质量和成功率 3、负责互联网海量数据（网页、文档、富媒体等）的去重、清洗、结构化导入、分类、信息抽取与价值评估 【任职要求】 【数据采集工程师】 任职资格 1、3年以上爬虫 或 数据解析开发经验，熟练掌握 python、java、go 之一的语言 2、熟悉分布式爬虫架构，熟悉常见的风控策略、JS混淆、浏览器引擎 3、熟悉chromium内核/js/dom/html/css 等网页相关语言，能够完成数据解析工作，有大模型解析经验者优先 4、熟悉Linux常用…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。