大语言模型架构实习生（预训练方向）

职位描述： 1. 深度参与LLM的模型结构，包括MLP以及attention 模块改进，以及训练方法的设计，包括模型并行策略优化，优化算法改进，量化算法改进，目标损失函数改进等方向，目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验，利用scaling law验证模型设计以及训练算法，获取从头开始，端到端的大模型训练经验。 3. 良好的团队氛围，扁平化的沟通和管理，丰富的算力和计算资源。 职位要求： 1. 本科及以上学历，计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础，对数据结构、算法设计基础有深度了解，熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先，有triton，cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先，在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强，积极主动，有良好的沟通和合作能力 职位描述： 1. 深度参与LLM的模型结构，包括MLP以及attention 模块改进，以及训练方法的设计，包括模型并行策略优化，优化算法改进，量化算法改进，目标损失函数改进等方向，目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验，利用scaling law验证模型设计以及训练算法，获取从头开始，端到端的大模型训练经验。 3. 良好的团队氛围，扁平化的沟通和管理，丰富的算力和计算资源。 职位要求： 1. 本科及以上学历，计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础，对数据结构、算法设计基础有深度了解，熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先，有triton，cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先，在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强，积极主动，有良好的沟通和合作能力 职位信息 职位名称 职位名称 大语言模型架构实习生（预训练方向） 大语言模型架构实习生（预训练方向） 职位性质 职位性质 实习 实习 职能类型 职能类型 算法类/AI 算法类/AI 工作地点 工作地点 北京市 北京市 发布日期 发布日期 2025-01-16 2025-01-16 申请职位 允许3个月内投递3个职位，请选择适合的职位进行投递 最新职位 急 体验运营实习生（Harness业务方向） 急 体验运营实习生（体验分析方向） 急 Kimi 海外创意增长实习生 Scientist, Frontier Science Evals 前沿科学评估研究员​（FTE/intern） KimiCode 产品实习生 KimiCode 产品实习生 AI harness 产品实习生 急 后端研发实习生（Agent 产品工程方向） © 2024-2025 北京月之暗面科技有限公司 京公网安备 11010802024479号 京ICP备15060035号-3 扫码联系我们 社招职位