[上海]上海环艾科技有限公司

职位：爬虫工程师
发布时间：2026-09-29
工作地点：上海
信息来源：前程无忧(51JOB)
职位类型：全职
职位描述
专业1:软件工程
福利:团建
职能类别:爬虫工程师
岗位职责：

1. 参与公司 Web 数据采集项目，基于 Python 开发、维护爬虫系统和脚本，完成网页数据抓取、字段提取、清洗与结构化处理；
2. 保障采集任务稳定运行；
3. 负责爬虫任务监控、异常排查、告警处理，校验输出的数据质量；
4. 使用 Redis、PostgreSQL 存储采集数据，配合团队完成爬虫产能目标；
5. 配合团队需求，快速响应新增采集站点需求，按时交付采集任务；

任职要求：
1.计算机 / 软件工程等相关专业，在校/应届毕业生；
2. 熟练 Python 编写和维护日常数据采集系统和脚本，理解常见爬虫框架（Scrapy、Feapder、Playwright、DrissionPage等）；
3. 能够根据现有爬虫框架进行新平台的设计与开发，完成页面数据的稳定采集与结构化；
4.处理常见反爬机制，包括登录态维护、验证码识别、加密参数签名、js逆向、ip封禁等场景的应对；
5. 了解 Postgres、Redis 的基础使用，能完成数据入库、缓存、任务状态读写等操作；
6.有一定的数据解析和处理能力，例如Css、正则、Xpath、BeautifulSoup等，能够完成对指定数据字段的提取和清洗；
7.具备独立阅读团队开发文档和需求的能力，能够基于现有文档快速理解业务逻辑、采集需求与规则，保证项目统一规范。 公司简要介绍：
公司名称:上海环艾科技有限公司
公司类型:民营公司
公司规模:少于50人
公司介绍:上海环艾科技有限公司，是一家聚焦环境保护领域的人工智能创新企业，由环境行业资深专家牵头创立。目前团队汇聚了软件工程师、数据工程师、AI专家等10余位核心成员，专业互补、务实奋进。我们正寻找志同道合的环评工程师，以你的专业积淀赋能技术创新，携手打造改变行业格局的智能工具！在环艾科技，你将获得全链路成长机遇，深度参与AI产品从0到1的完整孵化过程，直接跻身核心决策环节，快速提升跨领域综合能力；我们坚持扁平化管理，摒弃层级束缚，每一个专业想法都能被听见、被重视，让你的价值充分彰显。