[北京南京其它]中科南京软件技术研究院

职位：大模型算法工程师|大模型算法工程师实习生
发布时间：2024-03-02
工作地点：北京 南京 其它
信息来源：南京大学
职位类型：全职
专业标签：电子信息 计算机
职位描述
中科南京软件技术研究院校园招聘

联系方式：028-86168376

投递邮箱：yangting@
单位规模：其他
网络地址：nj***.cn[点击查看]
招聘详情：
岗位职责：1.开展预训练模型训练加速相关研究。包括但不限于优化PyTorch、Tensorflow 等深度学习框架，使用Megatron、DeepSpeed等框架对预训练模型进行优化，进行大模型量化计算、网络通信、算子融合优化；
2.负责预训练模型的部分加速。包括但不限于多卡任务调度，算子优化等；
3.与团队成员协同工作，设计实现各类模块、功能，并进行性能调优:解决团队研发过程中遇到的效率问题，如分布式计算加速、性能瓶颈分析和评测、模型算法优化等；
4.探索创新，积极探索新方法、不断提升工作效率及团队协调开发能力。
任职要求：1.硕士及以上学历，计算机系统结构专业优先，计算机科学与技术/软件工程/人工智能/大数据/电子信息/通信等相关专业优先；
2.良好的编程风格与文档撰写能力，有多人协作开发及Code Review 经验，对代码有严格的质量要求；熟悉常见开发规范，熟悉Git等开发工具，熟悉代码库的创建与维护操作；
3.熟悉GPU架构、熟悉国产自研加速芯片架构优先，如华为异腾、百度昆仑、寒武纪、DCU等熟悉CUDA编程，有一定的高性能编程经验，有神经网络训练加速、推理加速和显存优化经验的优先。掌握深度学习基础知识，至少熟悉一种深度学习编程框架，如 PyTorch、Tensorflow、Paddle、MindSpore等，有预训练模型开发、部署、调试经验的优先;有计算优化加速经验软件/体系结构开发经验、系统级调优经验的优先；