岗位职责
- 设计、开发、维护、重构分布式网络爬虫，采集并清洗结构化数据。
- 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。
- 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。
- 能够统计和分析数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。
职位要求
- 本科及以上学历，计算机相关专业，至少2年及以上项目开发经验，扎实的技术理论基础，数据结构以及算法等；
- 熟练掌握 Python编程语言，掌握 Selenium、Scrapy、PlayWright等框架的用法，熟悉任意开源爬虫框架。
- 熟悉 HTML、JavaScript，懂得分析常见 Web界面结构，掌握基本 jQuery、CSS、XPath等语法。
- 熟悉 App逆向分析、调试、加固、混淆等技术；有 ollvm、unicorn开发经验优先。
- 熟悉 HTTP、TCP等网络协议，精通 httpClient/jSoup/xpath/正则表达式/验证码处理/代理池等爬虫相关技术。
- 掌握 Charles等抓包工具。
- 了解 Android或iOS系统底层原理及机制，熟悉汇编语言和加解密算法。
- 有深入的大规模分布式爬虫集群实践经验。
- 对新技术保持热情，持续学习并乐于分享，勇于技术创新与技术改进。
- 具备良好的沟通能力，积极主动、自驱力强，有强烈的团队意识和执行力。
