岗位描述
1、负责多平台信息爬取和页面内容的提取分析； 2、参与爬虫系统的架构设计和研发，独立进行抓取工作； 3、负责技术难点的攻克； 4、负责大规模数据爬虫的性能优化工作； 5、负责分布式爬虫平台构建。 1、计算机相关专业，本科及以上学历；2年以上实际爬虫开发、内容提取工作经验； 2、熟悉Python/Java等语言的开发，熟悉Linux及其脚本相关技术； 3、深入了解Http协议，熟悉web项目原理； 4、了解多线程、多进程、网络通信编程相关知识，有过海量数据抓取及分布式存储经验； 5、掌握网页抓取原理及技术，熟悉基于正则表达式、XPath、CSS、pyquery等网页信息抽取技术； 6、掌握selenium,chorme等模拟浏览器行为技术； 7、有移动端爬取经验，了解APP模拟及接口签名破解技术，了解APP用户授权访问机制, 了解APP反编译技术； 8、有电商，旅游，新闻等热门网站数据抓取经验； 9、工作认真细致踏实，优秀的学习能力与抗压能力； 10、掌握机器学习、验证码识别技术、爬虫高并发技术，有web开发经验优先。 申请方式： 仔细阅读上面信息之后可以发送您的简历到以下邮箱，人力资源部会根据简历情况安排相关面试。 北京、成都、郑州 邮箱: hr-bj@idataway.com， 上海、武汉 邮箱: shhr@idataway.com ， 广州、昆明、长沙 邮箱: gzhr@idataway.com 。 建设数据分析与决策智能业的中国典范 立即咨询 官方微博 官方微信 解决方案 政府治理 营商环境提升 城市治理与社会发展 交通发展与智慧出行 城市发展与人居生活 金融服务 汽车及后市场 健康生活与消费 时尚行业新零售 成功案例 产品与服务 公共事务 商业服务 体验管理 品牌活动 BPAA 典范 金铃范 D3 方活动 见解有数 深度洞察 专家观点 算法应用集锦