已下线 社招

大模型算法工程师(压缩与轻量化方向) - PICO

字节跳动

  • 北京
  • 研发

收录时间

已下线 · 历史岗位确认下线时间:。以下为收录时的信息,不代表当前仍可申请。查看历史岗位档案

部门介绍

作为一家拥有自主创新和研发创造能力的科技品牌,PICO致力于成为领先的世界级XR平台,成就开发者与创作者,共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域,为运动、视频、娱乐等消费级场景带来了全新体验;并广泛应用在教育、医疗和企业培训等商用场景,给全球企业级用户提供了多元化的VR解决方案。

  1. 轻量化算法研发:主导大语言模型(LLM)及多模态模型的轻量化算法研究,包括量化(Quantization)、剪枝(Pruning)、稀疏化(Sparsity)与知识蒸馏(Knowledge Distillation),投机采样;
  2. 极低比特量化突破:设计并实现高效的后训练量化(PTQ)与量化感知训练(QAT)方案;深入探索低比特(INT
  3. INT
  4. FP
  5. NF4等)量化算法(如AWQ,GPTQ,SmoothQuant,OmniQuant等),在保证模型精度(Perplexity与下游任务准确率)的前提下逼近理论压缩极限;
  6. 结构精简与稀疏化:研究并落地基于Transformer架构的结构化/非结构化剪枝方案、层级丢弃(Layer Dropping)、注意力机制优化以及早期退出(Early Exit)机制,降低模型理论计算复杂度(FLOPs);
  7. 知识蒸馏链路构建:设计从千亿级Teacher模型向轻量级Student模型转移知识的蒸馏体系,包括LoGits蒸馏、中间特征/注意力矩阵蒸馏,以及基于特定领域指令微调(SFT)数据的自蒸馏机制;
  8. 精度损失分析与对齐:构建完善的模型轻量化评测体系,能够快速定位在压缩过程中产生精度坍塌或能力退化的根本原因(如异常值Outliers分布分析),并提出针对性的算法补偿策略。

岗位职责

招聘官网暂未提供完整岗位职责,请前往官网核实。

职位要求

  1. 获得硕士学位及以上,计算机、数学、人工智能或相关专业优先;
  2. 具备扎实的机器学习与数学理论基础;精通Python和PyTorch,能高效实现并复现复杂的深度学习算法;
  3. 深入理解Transformer架构的底层逻辑(Self-Attention,KV Cache,GQA/MQA,MoE机制,各类位置编码等);
  4. 具备丰富的模型压缩实战经验,主导或深度参与过大参数量模型的压缩项目;
  5. 对主流的大模型量化算法原理及其数学推导有深刻理解,清楚不同量化方案在处理权重(Weight)和激活值(Activation)时的优劣与边界;
  6. 具备较强的Paper阅读能力与严谨的实验分析习惯,能够从数据分布、模型梯度的微观层面分析轻量化带来的影响。 加分项:
  7. 在AI会议(ICLR,ICML,NeurIPS,ACL,EMNLP等)发表过模型压缩、高效AI(Efficient Inference/TinyML)相关的高质量论文;
  8. 深入阅读并修改过业界知名模型压缩库的源码,或向bitsandbytes,AutoGPTQ,AutoAWQ,vLLM(量化模块),Neural Magic等开源项目贡献过代码;
  9. 熟悉Megatron-LM、DeepSpeed等分布式训练框架,有在多机多卡环境下进行大规模QAT(量化感知训练)或大规模知识蒸馏的实操经验;
  10. 了解GPU(CUDA)或NPU的底层访存与计算特性,了解W4A
  11. W8A8等量化算子的实际硬件加速瓶颈(Memory-bound vs Compute-bound),具备“算法-硬件”联合设计的意识。

相似岗位

有些机会,只在官网短暂出现

真正值得关注的岗位,常常只在企业官网短暂开放,可能两三天后就下线,也未必会同步到综合招聘平台。没有持续关注,你甚至不会知道它曾经出现。职先机持续聚合并核验官网岗位,帮你抓住职场先机,快人一步。

微信小程序 / 当前岗位

在微信里继续看这个岗位

字节跳动大模型算法工程师(压缩与轻量化方向) - PICO

扫码直达当前岗位收藏、浏览记录和下线提醒留在微信里
电脑端可直接微信扫码;手机端可保存小程序码后在微信中识别。
微信扫码在职先机小程序查看大模型算法工程师(压缩与轻量化方向) - PICO正在准备岗位码
职先机微信小程序一岗一码 · 正式版直达保存小程序码

岗位提醒 · 01

收藏历史岗位,保留参考信息

当前岗位大模型算法工程师(压缩与轻量化方向) - PICO字节跳动 · 北京

01

扫码进入当前岗位无需重新搜索,直接打开当前岗位详情。

02

收藏历史岗位此岗位已经下线,收藏仅用于保存历史参考。

03

继续查看相似机会原岗位变化时,可继续浏览相关在招岗位。

职先机会持续核验公开岗位;岗位状态与最终招聘结果仍以企业招聘官网为准。

微信小程序扫码打开当前岗位

扫码查看并收藏历史岗位,不代表当前仍可申请。

微信扫码在职先机小程序收藏大模型算法工程师(压缩与轻量化方向) - PICO正在准备岗位码

微信小程序 · 当前岗位

请前往微信小程序提交内推申请

字节跳动大模型算法工程师(压缩与轻量化方向) - PICO社招 · 北京

01进入当前岗位扫码或打开后直达本岗位内推申请页。

02提交 PDF 简历简历替换、处理进度和消息提醒在小程序内同步。

手机端将尝试直接打开微信;电脑端请使用微信扫码。

微信扫码进入大模型算法工程师(压缩与轻量化方向) - PICO内推申请页正在准备岗位码
当前岗位专属码扫码后无需重新搜索岗位保存小程序码

内推提示

暂不支持该岗位内推

如需投递,建议前往官网进行投递。