主要信息

时间类型：全职

员工类型：员工

该职位的目的是推动构建工件的高效交付，并在 QBE 平台的设计、开发和部署中提供技术领导。

• 在 Azure Databricks 中通过 Python 主导数据管道和工作流的设计、开发和优化。
• 与平台团队协作，确保资源、安全协议和 Databricks 环境可扩展性适当对齐。
• 设计、实现、维护优化的 ETL 管道，确保它们可靠、可扩展且高效。
• 密切与利益相关者合作，理解业务需求并设计满足其需求的数据解决方案。
• 为初级数据工程师提供技术领导，指导他们在数据管道设计、数据处理和 Databricks 优化方面的最佳实践。
• 与平台团队协调，以确保底层基础设施的可用性、可靠性和性能。
• 领导与数据处理和管道故障相关的故障排除和问题解决工作，确保最小的停机时间。
• 监控数据管道的性能，实施优化策略以改善处理时间、降低成本并提高整体平台效率。
• 与数据架构师和工程师协作，开发可以与 Databricks 无缝集成的数据模型。
• 保持对数据工程最佳实践和新兴技术的最新了解，特别是在 Azure 生态系统内。

要求：

• 5年以上数据工程经验，专注于构建和优化数据管道。
• 对 Azure Databricks 有深厚的经验，能够在该环境中领导和优化复杂的工作流。
• 精通用于数据处理、管道开发和自动化的 Python。
• 具备 Azure Data Lake、Azure SQL 和 Azure 内其他数据存储和处理解决方案的经验。
• 深刻理解 ETL 过程，包括管道设计、自动化和故障排除。
• 具备使用 Databricks Delta Lake、Apache Spark 及 Databricks 性能调整的实践经验。
• 熟悉云基础设施（Azure），包括网络、存储和安全考虑。
• 能够与跨职能团队有效合作和沟通，包括平台团队，以确保对齐成功交付。
• 具备强大的问题解决和故障排除技能，尤其与数据管道性能和故障相关。
• 具备优秀的沟通和领导技能，能够指导和辅导初级工程师。

优先资格：

• 具备 DevOps 实践和数据工程工作流的 CI/CD 管道经验。
• 熟悉 Azure Synapse Analytics、Azure Data Factory 和其他基于 Azure 的数据服务。
• 具备在敏捷环境中工作的经验，熟悉项目管理工具。

技能：

沟通, 批判性思维, 客户服务, 财务系统, 有意识的合作, 管理绩效, 流程改进, 关系数据库管理系统 (RDBMS), 风险管理, 软件开发, 软件开发生命周期 (SDLC) 方法论, 利益相关者管理, 战略领导, 团队管理, 瀑布模型

如何申请：

要提交申请，请点击“申请”并按照逐步流程操作。

平等就业机会：

QBE 是一个平等机会的雇主，并需要按照其运营的每个法域内的平等就业机会立法进行合规。

请参考职位描述。