岗位职责：
1、模型私有化部署与升级
? 负责开源大模型（如Qwen、Llama 3、DeepSeek等）的本地化部署，包括环境准备（驱动、CUDA、cuDNN）、容器化封装（Docker镜像构建）、K8s编排部署。
? 制定模型升级SOP，确保新版本上线不影响已有服务。
? 维护模型版本管理，支持多模型并行服务（如同时跑7B和72B模型供不同场景调用）。
2、推理服务性能优化
? 基于vLLM、Ollama、TensorRT-LLM等推理框架进行部署调优，优化首Token延迟（TTFT）和吞吐量。
? 根据业务需求实施量化方案（INT8/INT4），在可接受的精度损失范围内降低显存占用。
? 配置自动扩缩容策略，高峰期自动增加推理实例，低峰期释放资源节省成本。
3、GPU集群运维与监控
? 日常监控GPU节点健康状态（温度、显存、功耗、驱动版本），排查硬件/驱动异常。
? 搭建监控面板（Prometheus + Grafana），实时展示各模型服务的QPS、延迟、显存占用等关键指标。
? 编写自动化脚本，定期清理GPU缓存、归档日志、检测异常进程。
? 制定GPU故障应急预案（如单卡损坏时的服务迁移方案）。
4、安全与权限管理
? 搭建模型API的鉴权体系（API Key管理、LDAP/SSO集成），确保只有授权员工能访问。
? 配置网络隔离策略，确保模型服务仅限内网访问，不暴露到公网。
? 对接公司日志审计系统，记录所有模型调用行为（谁、什么时间、问了什么），满足合规要求。
5、开发者平台支持
? 为内部应用开发团队提供模型API文档和技术支持，协助他们对接模型服务。
? 维护内部模型服务状态页，让各团队能实时查看服务可用性和版本信息。
任职要求：
1、本科及以上；
2、精通Linux系统管理，熟练使用Shell/Python编写运维脚本；
3、深入理解Docker容器技术，有Kubernetes集群管理经验；
4、熟悉NVIDIA GPU软硬件栈（驱动安装、CUDA版本管理、多卡通信NCCL）；
5、了解大模型推理框架（vLLM/TGI/Ollama）的基本架构和配置方式；
6、有CI/CD流水线（Jenkins/GitLab CI）搭建经验者优先。