主要細節

工作類型：全職

員工類型：正式員工

主要責任：

• 設計、開發和優化數據管道及工作流程，使用 Python 在 Azure Databricks 中進行數據處理和自動化。
• 與平台團隊協作，確保基礎設施支持 Databricks 工作負載的可擴展性、性能和安全性要求。
• 維護和增強 ETL 管道，確保其高效、可靠，並滿足業務需求。
• 調試和解決與數據處理、管道失敗和性能瓶頸相關的問題。
• 在數據管道的速度、成本效益和性能方面制定並實施優化策略，確保與業務目標的一致性。
• 促進 Azure 生態系統內數據架構、數據模型和整體基礎設施的改進。
• 領導工作以監控、維護和擴展 Azure Databricks 內的數據工作流程和數據儲存解決方案。
• 與其他數據工程師、數據科學家和分析師合作，以確保數據的完整性和系統間的平穩流動。
• 保持對數據工程和雲技術最新行業趨勢、工具和最佳實踐的了解。

要求：

• 3年以上作為數據工程師的經驗，專長於雲端環境中構建和優化數據管道，特別是 Azure。
• 熟練使用 Azure Databricks 和 Python 開發數據處理腳本和優化工作流程。
• 有 ETL 流程、數據管道設計、自動化和故障排除的經驗。
• 在 Databricks 中熟練使用 Apache Spark，包括性能調優和優化。
• 了解 Azure Data Lake、Azure SQL 和其他基於 Azure 的數據儲存和處理服務。
• 對雲數據平台有深刻的理解，包括 Azure 中的網絡、儲存、安全性和性能考量。
• 能夠在跨功能團隊中有效工作，以協調並提供高質量的數據解決方案。
• 優秀的問題解決和分析能力，能夠識別和解決與數據工作流程相關的問題。
• 良好的溝通技巧，無論是技術性還是非技術性，能夠與不同團隊有效合作。

優先考慮的資歷：

• 有使用 Azure Synapse Analytics、Azure Data Factory 或類似數據集成工具的經驗。
• 熟悉 CI/CD 實踐和版本控制系統（如 Git）。
• 有敏捷方法論和項目管理工具（如 Jira、Trello）的經驗。
• 熟悉數據治理原則和確保數據質量和安全性的最佳實踐。

技能：

適應能力、敏捷應用開發、溝通、批判性思維、客戶服務、GitLab CI/CD、有意識的協作、績效管理、流程改進、風險管理、可擴展性測試、軟體開發、軟體開發生命週期 (SDLC) 方法論、利益相關者管理、團隊管理

如何申請：

要提交申請，請點擊"申請"並遵循逐步流程。

平等就業機會：

QBE 是一個平等機會的雇主，必須遵守其運營中每個司法管轄區的平等就業機會法規。

請參考職位描述。