岗位职责：
负责通用爬虫平台平台化、组件化、工具化能力建设
负责分布式爬虫平台的架构设计、技术优化与核心功能开发
能够将爬虫数据采集、解析、清洗、去重、分发、入库抽象成通用组件并实现可视化低代码化配置
破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化
爬虫健康、数据质量监控，确保爬虫的稳定性、可靠性、及时性、准确性

任职要求：

计算机相关专业，具有扎实的计算机基础理论知识，掌握常用数据结构和算法
5年以上Java开发的经验，java基础牢靠，熟悉多线程，NIO，对常用设计模式有深入理解和使用
熟练使用Spring，Spring Boot，SpringMVC，Struts，MyBatis框架
深入理解分布式相关技术与内部实现原理，熟练掌握kafka，redis、dubbbo、es等分布式中间件的使用
优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心

岗位职责：
负责通用爬虫平台平台化、组件化、工具化能力建设
负责分布式爬虫平台的架构设计、技术优化与核心功能开发
能够将爬虫数据采集、解析、清洗、去重、分发、入库抽象成通用组件并实现可视化低代码化配置
破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化
爬虫健康、数据质量监控，确保爬虫的稳定性、可靠性、及时性、准确性

任职要求：

计算机相关专业，具有扎实的计算机基础理论知识，掌握常用数据结构和算法
5年以上Java开发的经验，java基础牢靠，熟悉多线程，NIO，对常用设计模式有深入理解和使用
熟练使用Spring，Spring Boot，SpringMVC，Struts，MyBatis框架
深入理解分布式相关技术与内部实现原理，熟练掌握kafka，redis、dubbbo、es等分布式中间件的使用
优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心