[上海]百联全渠道电子商务有限公司

职位：AI数据开发工程师
发布时间：2026-10-21
工作地点：上海
信息来源：前程无忧(51JOB)
职位类型：全职
职位描述
专业1:大数据技术
专业2:数据科学
职能类别:数据开发
岗位职责
1.负责集团级大数据服务（离线 + 实时）的研发，基于 Hadoop/Spark/Flink 生态构建高可靠、高吞吐的数据处理管道，支撑PB级数据的采集、清洗、加工与服务化。
2.参与大数据平台、数据研发工具链的架构设计与业务梳理，覆盖任务调度、元数据管理、权限管控、数据可观测性等基础能力。
3.深入 Spark/Flink 作业性能优化（数据倾斜、Shuffle、向量化、CBO 等），保障核心链路在大数据场景下的稳定性、时效性与成本可控。
4.推进流批一体与湖仓一体落地，探索 Iceberg/Paimon、OLAP 引擎（StarRocks/Doris/ClickHouse）在零售业务场景的工程化应用。
5.建设 AI-Ready 数据底座，将离线/实时数据资产封装为标准化的数据服务与语义层，为上层 RAG 知识库、大模型应用提供可追溯、可权限管控的数据接口。
6.参与数据研发智能化探索：将现有数据开发能力（SQL 执行、表血缘查询、任务运维、权限校验）封装为 MCP 工具或 Agent 可调用的标准化能力，支撑多 Agent 协作的 Harness 运行时（如 Orchestrator + Specialist 模式），实现“对话即开发、对话即治理”的内部提效闭环。

任职要求
1.本科及以上学历，计算机、软件工程、大数据等相关专业优先。
2.熟练掌握 Java，熟悉 Scala/Python/Shell 至少一门；具备扎实的数据结构、多线程、I/O 与操作系统基础。
3.熟悉 Hadoop 生态（HDFS/YARN/MapReduce），深入使用过 Spark 或 Flink? 之一，有 TB 级生产作业开发/调优经验者优先；了解 Kafka、Hive、Hudi/Iceberg 等组件原理。
4.熟练编写 SQL，理解执行计划、分区裁剪、广播 Join、数据倾斜等常见优化手段；熟悉 MySQL 等关系型数据库。
5.了解分布式系统基本原理（一致性、容错、资源调度、Checkpoint/State 管理），有任务调度系统（DolphinScheduler/Airflow）或数据平台二次开发经验者优先。
6.具备工程化意识：理解幂等重跑、任务血缘、SLA 监控、权限模型（RBAC）等数据平台基础概念。
7.【加分项】了解 LLM/Agent 基础范式（Function Calling、ReAct、MCP 协议、Harness 运行时职责边界），能将现有数据服务封装为受控工具供 Agent 调用；有 AI-Ready 数据集建设、大模型数据预处理或内部 Copilot/多 Agent 数据研发实践者优先。
8.有知识库建设、开源贡献、数据平台相关竞赛/项目经历者优先。 公司简要介绍：
公司名称:百联全渠道电子商务有限公司
公司类型:国企
公司规模:500-1000人
公司介绍:百联集团为了适应电子商务浪潮的到来，于2015年组建了百联全渠道电子商务有限公司。作为一家具有国企背景、同时又高度市场化的互联网公司，全渠道公司背靠百联集团丰富的线下零售资源，于2016年5月19日正式上线“i百联”平台，开启全渠道新零售模式。经过几年的发展，百联全渠道已成为中国网络零售百强企业，拥有近2000万“百联通”会员。

目前，公司正从“多业态电商平台公司”向“消费生态数字化科技服务公司”转型。公司将继续依托集团的多元化业态和近4000家线下门店，运用互联网技术，围绕“引流、转化、交易、交付、售后”五个业务环节，以及“商品、供应链、体验”三大商业核心要素，推动百联零售业务在商业模式、核心能力及管理机制上的建设和创新，努力为消费者提供触手可及的品质生活。公司将持续推进“全面数字化转型”的战略布局，以线下门店为中心，为周围3公里范围内的社区居民提供更为便捷、高质的本地生活服务，通过科技赋能推动集团零售业数字化进程。