岗位职责
-负责大型spider系统的核心技术研究和开发，全面覆盖各种形态、载体和来源的优质资源 -借助自然语言处理、大模型等技术，深入挖掘资源内容特征和潜在价值，迭代全网内容收录与更新策略和算法 -以通用技术，从千亿量级网页中提取有价值的信息，对网页进行充分的结构理解 -基于数据挖掘和数据分析，对于业务方向产出精准的洞察
职位要求
-熟练使用C/C++/Python等至少一门语言，熟悉常用数据结构及算法，熟悉linux平台 -熟悉机器学习、模式识别等常用算法，有相关项目经验、有深度学习经验者优先 -有搜索引擎离线策略（网页收录、分类、索引等）工作经验者优先
