岗位描述(节选)
1. 建设基于 LLM/VLM 的网页解析系统,完成正文识别、语义分块、内容去噪及关键字段的结构化抽取。
2. 建设 Agent 化解析能力,根据页面类型和任务目标自主选择解析策略、调用工具、验证结果并进行错误修正。
3. 解决复杂网页、长页面、图文混排和多语言页面中的解析准确率、覆盖率、成本及稳定性问题。
4. 建设网页内容和页面形态分类体系,识别新闻、商品、论坛、问答等内容类型,以及首页、列表页、详情页、聚合页等页面形态。
5. 综合页面内容、DOM结构、URL、链接关系和视觉信息,提升分类模型对长尾页面及新类型页面的泛化能力。
6. 将分类结果应用于抓取调度、解析策略、索引构建及搜索召回排序。
7. 建设网页完整度、原创度、时效性、可信度和内容价值评估能力。
8. 识别低质内容、重复内容、SEO垃圾页、内容农场、镜像站及恶意跳转等问题。
9. 建设网页解析、分类和质量评估体系,持续提……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。