[上海]新国脉数字文化股份有限公司

职位：大数据开发工程师（上海）
发布时间：2025-03-20
工作地点：上海
信息来源：前程无忧(51JOB)
职位类型：全职
职位描述
职能类别:数据开发
学历要求
硕士研究生及以上学历

专业要求
计算机科学与技术/数据科学与大数据技术/软件工程/数学

岗位职责
1. 设计并搭建高可靠、可扩展的大数据存储与计算平台，包括 Hadoop、Spark、Hive 等大数据组件的配置与优化，确保海量数据的高效存储与快速处理；
2. 负责从多样化的数据源（如大规模日志系统、实时数据流、分布式文件系统等）进行大数据采集，运用 Flume、Kafka 等工具实现数据的稳定收集与实时传输，并进行数据清洗、去重等预处理工作，保障数据的准确性和完整性；
3. 基于 Doris、Starrocks 等大数据处理框架，开发高效的大数据处理算法和程序，完成复杂的数据转换、聚合和分析任务，为数据挖掘和机器学习提供高质量的数据支持；
4. 参与大数据仓库的设计与建设，具备丰富的 ETL 开发经验，构建适用于大数据环境的数据模型，如维度模型、Lambda 架构等，优化数据存储结构，提升数据查询和分析效率；
5. 熟练运用 Hive SQL、Spark SQL 等大数据查询语言，进行海量数据的查询与分析，协助业务部门解决复杂的数据问题，为业务决策提供有力的数据依据；
6. 对大数据开发流程和系统性能进行持续优化，通过技术手段（如资源调度优化、算法优化等）提升大数据平台的整体处理能力和响应速度，同时负责平台的日常运维，及时处理大数据相关的故障和异常；
7. 与数据分析师、数据科学家以及业务团队紧密合作，深入理解业务需求，将业务问题转化为大数据技术解决方案，推动大数据在业务中的深度应用和创新；
8. 领导交办的其他工作。

应聘资格要求
1. 硕士研究生及以上学历，硕士及以上学位，计算机科学、软件工程、数学、统计学等相关专业优先；
2. 具备一定大数据开发相关实习经验，有完整的大数据项目开发经验，熟悉大数据开发的全生命周期；
3. 精通 Hadoop 生态系统，包括 HDFS、MapReduce、Hive、YARN 等组件的原理和应用，能够熟练进行集群的部署、配置和维护；
4. 熟练掌握 Spark 框架，包括 Spark Core、Spark SQL、Spark Streaming 等模块，具备基于 Spark 进行大规模数据处理和分析的能力；
5. 熟悉至少一种大数据采集工具（如 Flume、Kafka 等）和大数据查询语言（如 Hive SQL、Spark SQL），能够编写高效的大数据查询和处理语句；
6. 掌握数据建模的基本方法，能够根据业务需求设计合理的大数据模型，具备良好的数据架构设计能力；
7. 熟练掌握至少一种编程语言（如 Java、Scala、Python 等），具备良好的编程习惯和代码质量意识；
8. 具备较强的问题解决能力和数据分析能力，能够快速定位和解决大数据相关的技术难题，善于从海量数据中发现问题和规律；
9. 有良好的沟通能力和团队协作精神，能够与不同部门的人员进行有效的沟通和协作，共同推动大数据项目的实施；
10. 对大数据领域的新技术和新趋势有强烈的学习兴趣和探索精神，能够不断跟进并应用到实际工作中。 公司简要介绍：
公司名称:新国脉数字文化股份有限公司
公司类型:国企
公司介绍:新国脉数字文化股份有限公司（简称“国脉文化”）是中国电信旗下A股上市公司，成立于1992年，并于1993年在上海证券交易所挂牌上市（证券代码：600640）。作为中国电信数字内容领域的专业公司，国脉文化深入践行中国电信“云改数转”战略，积极弘扬“红色电信精神”，聚焦数字内容、数智应用、元宇宙、实体场景、数字权益五大板块业务，持续打造国家文化和科技融合示范基地，致力于成为文化和科技融合型领军企业，让全民共享文化数字化科技成果。