[上海]深圳虾皮信息科技有限公司

职位：大模型预训练算法工程师
发布时间：2026-08-29
工作地点：上海
信息来源：五邑大学
职位类型：兼职
职位描述

深圳虾皮信息科技有限公司

（ASPIntern）LLM-大模型预训练算法工程师

20K-40K/月 上海 上海市 硕士及以上

发布时间：2026年8月28日

职位描述

岗位职责：

关于团队:
Compass 是由 Shopee 研发的面向全球竞争的超大规模多语言模型，具备强大的跨文化理解、复杂逻辑推理与自主执行能力。依托全球新兴市场（尤其是东南亚）海量的多语言、多文化数据优势，Compass 系列模型已成功实现了从 v1 到 v3 演进。当前，我们正聚焦前沿技术突破，全力打造架构更先进、能力更卓越的下一代基座大模型，打造全球领先的多语言与自主智能体（Agentic LLM）技术体系。我们将通过对算法和数据策略的深入研究，建立科学的 scaling law 指导规划，攻克训练与推理加速瓶颈，打通从数据治理到智能涌现的确定性路径。我们追求将现有的预训练技术做到极致。
职位描述
模型结构探索： 参与大语言模型基础架构（如 Transformer 及其变体，MoE 等）的研究与实验；协助评估高效的 Attention 机制及新型网络结构，探索突破长上下文（Long-context）瓶颈的方案。
预训练策略与实验： 参与超大规模模型预训练的日常实验与维护；协助团队进行 Scaling Laws 的相关数据跑测与验证；跟踪前沿 Paper，尝试落地新的训练策略（如 Curriculum Learning、优化器改进等）。
预训练数据处理与分析： 参与海量多模态/多语言预训练数据的数据清洗与特征分析；协助团队设计并验证数据混合（Data Mix）与采样策略，观察其对模型在逻辑推理、代码、数学等核心能力上的影响。
分布式框架学习与支持： 在资深工程师的指导下，学习主流分布式训练框架（如 DeepSpeed、Megatron-LM）；协助监控大规模集群的训练状态，参与排查和分析训练过程中的 Loss Spike 等异常问题。

岗位要求：

职位要求
必须（Must-have）
学历专业： 计算机、人工智能、数据科学、数学等相关专业硕士及以上学历。
编程功底： 具备扎实的算法与数据结构功底，精通 Python，熟练掌握 C++，具备出色的工程实现能力。
AI与框架底座： 深入理解 NLP/LLM 基础理论，熟练使用 PyTorch，对大模型的核心算子有深入了解。
分布式计算： 熟悉至少一种主流大规模分布式训练框架（如 Megatron-LM, DeepSpeed, Colossal-AI），深刻理解数据并行、张量并行、流水线并行及 ZeRO 等内存优化技术。
问题解决： 具备极强的 Debug 能力和问题诊断能力，能够快速定位并解决模型训练中的算法缺陷与系统瓶颈。
加分项（Nice-to-have）
熟悉 MoE 训练框架（如 DeepSpeed-MoE、Tutel、Megablocks），对大规模 Expert Routing、负载均衡与专家并行有深入理解。
熟悉长上下文技术（RoPE 插值、NTK Scaling、Mamba/Linear Attention、分块注意力等）。
有跨模态与文本联合预训练经验（视觉、语音、多模态 Embedding 等）
有 百亿级（100B+）以上参数规模模型 的训练、优化或落地经验者优先。
在国际顶级会议（如 NeurIPS、ICLR、ICML、ACL、EMNLP）发表论文者优先。

投递说明：

网申/内推 > 2-3轮专业面试 > HR沟通 > Offer

单位简介

Shopee是东南亚领航电商平台，覆盖新加坡、马来西亚、菲律宾、印度尼西亚、泰国及越南等市场，同时在中国深圳、上海和香港设立跨境业务办公室。2019 年 Shopee总订单量高达12亿，同比增长100.5%。根据权威移动数据分析平台 App Annie，2019年Shopee强势跻身全球购物类App下载量前五，同时斩获东南亚及中国台湾市场购物类App年度总下载量、平均月活数、安卓使用总时长三项冠军，并领跑东南亚两大头部市场，拿下印尼及越南年度购物类App下载量与月活量双冠王。



提示：在微信扫描关注，可以直接投递简历哟



深圳虾皮信息科技有限公司


领域：信息传输、软件和信息技术服务业

规模：1000-5000人

地址：深圳市南山区粤海街道高新区社区科技南一路28号达实大厦3302