岗位描述
1. 面向网页、代码、PDF/文档、多语言等不同类型的数据，研究数据构造、提取、解析、清洗、去重、质量评估、过滤和数据选择等方法。 2. 分析不同数据源的数据特征和质量问题，通过统计分析、数据抽样、错误案例及必要的实验评估处理效果。 3. 结合预训练模型的训练与评测结果，理解不同数据处理方式对模型效果的影响，并持续迭代数据方案。 4. 设计、开发和优化大规模预训练数据处理管线，关注数据正确性、处理效率、资源成本、稳定性和可复现性。 5. 根据实际问题持续完善相关的数据算法、处理工具和工程能力，并将有效方案沉淀为可复用的数据处理流程。 6. 与 预训练算法、数据基础设施及其他相关团队协作，推动数据方案在实际训练任务中的应用。