主要內容

工作類型：全職

工作者類型：員工

此角色的目的是推動構建產物的高效交付，並為 QBE 的平台設計、開發和部署提供技術領導。

• 主導在 Azure Databricks 中使用 Python 設計、開發和優化數據管道和工作流程。
• 與平台團隊協作，確保資源、安全協議和 Databricks 環境的可擴展性得當對齊。
• 設計、實現和維護優化的 ETL 管道，確保其可靠、可擴展且高效。
• 與利益相關者密切合作，了解業務需求並設計滿足其需求的數據解決方案。
• 對初級數據工程師提供技術領導，指導他們在數據管道設計、數據處理和 Databricks 優化方面的最佳實踐。
• 與平台團隊協調以確保基礎設施的可用性、可靠性和性能。
• 主導與數據處理和管道故障相關的故障排除和問題解決工作，確保最小的停機時間。
• 監控數據管道的性能並實施優化策略以改善處理時間、降低成本並提升整體平台效率。
• 與數據架構師和工程師合作開發可以與 Databricks 無縫集成的數據模型。
• 保持對數據工程最佳實踐和新興技術的最新知識，特別是在 Azure 生態系統內。

要求：

• 5年以上數據工程經驗，專注於構建和優化數據管道。
• 對 Azure Databricks 有深入的經驗和在此環境中主導和優化複雜工作流的能力。
• 精通使用 Python 進行數據處理、管道開發和自動化。
• 具備 Azure Data Lake、Azure SQL 和其他 Azure 中的數據存儲及處理解決方案的經驗。
• 對 ETL 流程有深入理解，包括管道設計、自動化和故障排除。
• 具備 Databricks Delta Lake、Apache Spark 的實際經驗以及在 Databricks 中進行性能調整的能力。
• 了解雲基礎設施（Azure），包括網路、存儲和安全考量。
• 能夠與跨功能團隊（包括平台團隊）有效合作和溝通，以確保對齊和成功交付。
• 強大的問題解決和故障排除能力，特別是在數據管道性能和故障方面。
• 出色的溝通和領導能力，能夠指導和培養初級工程師。

優先資格：

• 有 DevOps 實踐和數據工程工作流的 CI/CD 管道經驗。
• 熟悉 Azure Synapse Analytics、Azure Data Factory 和其他基於 Azure 的數據服務。
• 在使用項目管理工具的敏捷環境中工作經驗。

技能：

溝通, 批判性思維, 客戶服務, 財務系統, 有意識的協作, 性能管理, 流程改進, 關聯式資料庫管理系統 (RDBMS), 風險管理, 軟體開發, 軟體開發生命周期 (SDLC) 方法論, 利益相關者管理, 戰略領導, 團隊管理, 瀑布模型

如何申請：

要提交申請，請單擊“申請”並按照步驟操作。

平等就業機會：

QBE 是一個平等機會的雇主，並且被要求遵守其運營所涉及的每個司法管轄區的平等就業機會立法。

請參閱職位描述。