部门介绍
火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。
- Agent可观测性数据分析；参与构建Agent可观测性数据体系，围绕Agent执行轨迹、工具调用、阶段编排、Token消耗等关键节点，基于ClickHouse/SQL完成海量链路数据的清洗、统计与专题分析，产出BI可视化看板；
- 评估数据集构造与治理；根据评测场景，协助构造结构化与非结构化评测集（工具调用序列、执行计划、Agent产出物、对抗性输入等），维护版本化与可追溯性，沉淀可复用的数据构造脚本与「Golden Set」评测基线；
- Agent产出评估与标注闭环；对Agent输出（代码、文档、执行计划、工具调用序列等）进行结构化评估与打分，参与评估规则制定与迭代；校准人审与自动化指标（LLM-as-a-Judge）的一致性，沉淀标注样本集，支撑自动化评测与回归；
- 失败模式归类与根因分析；基于Trace/metric/log，定位Agent链路上的埋点缺陷、断点与异常行为（工具调用失败、编排卡顿、幻觉、超时等），把发现的问题转化为可执行的诊断结论，反向驱动Agent迭代；
- 评估工具链协同；协助完善评估平台、数据管理与可观测性工具链，提升评测构造、标注与看板搭建的效率。
岗位职责
招聘官网暂未提供完整岗位职责，请前往官网核实。
职位要求
- 本科及以上学历在读，计算机科学、软件工程、人工智能、统计、数学、信息管理等相关专业优先；
- 具备扎实的数据分析能力，熟悉SQL与数据可视化工具（Tableau/PowerBI/FineBI或内部BI）；了解基本的实验设计与指标分析方法；
- 熟练掌握Python/TypeScript/Java任一语言，具备扎实的编程基础与脚本编写能力；熟悉Linux常用命令、基本数据结构与算法；
- 对LLM/Agent有浓厚兴趣，了解Tool use、Prompt Engineering、RAG、Function Calling、Agent编排等基本概念；
- 良好的需求拆解与文档能力，逻辑清晰，善于跨团队沟通协作；自驱学习，责任心强。 具备以下条件优先
- 熟悉ClickHouse/Doris/StarRocks等OLAP引擎之一，有海量数据查询与优化经验；
- 了解可观测性相关概念（分布式追踪Trace/metric/log，或OpenTelemetry等）；
- 有软件测试、评测集构造、数据标注、自动化评测（LLM-as-a-Judge、Golden Set）等相关经验；
- 有NLP、文本挖掘、意图分析、统计建模相关项目/论文，或熟悉Flink/Spark/Kafka等大数据引擎之一；
- 有AI编程工具、Agent框架（LangChain/LangGraph/AutoGen等）实践经历。
