爬虫工程师

职责描述: 负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库 经验要求：3年以上的项目爬虫经验 技能要求: （1）熟练掌握爬虫Scrapy，Colly等框架； （2）熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术； （3）熟悉常见的反爬虫机制解决办法（熟悉深度抓取，动态数据获取，模拟登录、代理等技术）； （4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang； 通用能力： （1）思路清晰，具备良好的沟通能力和快速解决问题的能力； （2）具备良好的学习能力与抗压能力