岗位职责
负责数据采集相关对抗能力的设计、研发与交付,支撑业务在复杂场景下的数据获取与能力建设。 深入分析目标系统的数据链路与访问限制机制,建设覆盖采集调度、任务编排、代理池、策略管理、异常恢复与数据处理的工程化平台能力。 针对验证码、频控、行为校验、设备识别、接口签名、协议校验等反爬场景,持续优化采集成功率、稳定性和效率。 结合大模型及 Agent 技术,探索采集任务自动化、目标分析智能化、策略生成辅助化等方向,推动平台智能化升级。 协同产品、算法、数据、安全等团队推进重点需求落地,持续优化系统性能、稳定性和研发效率。
职位要求
本科及以上学历,计算机相关专业优先。 精通 Python 开发,具备良好的系统设计能力和工程实践能力。 具备数据采集、分布式任务调度或相关平台研发经验,熟悉采集链路中的核心模块设计。 熟悉 MySQL,并掌握 Redis、HBase 或其他常见 NoSQL 组件的使用与优化。 了解常见反爬机制及分析方法,对请求风控、参数签名、验证码、设备指纹、访问行为控制等场景有实践经验。 具备 AI Agent 开发经验,了解 Prompt Engineering、MCP、Skills 等相关技术,熟悉主流 Agent 框架,能够结合业务设计智能化工具链或自动化系统。 具备较强的问题分析能力、沟通协作能力及持续学习能力。 加分项: 有复杂站点采集与反爬对抗经验。 有 JS 逆向、协议分析、移动端逆向经验。 有攻防对抗、安全研究或自动化分析平台建设经验。 有技术开源项目、文章输出或完整实战成果。