角色和職責

• 設計、開發和維護可擴展的數據管道和ETL工作流。
• 處理大量數據集，確保高效的數據攝取、轉換和存儲。
• 優化數據架構以提高性能、可靠性和可擴展性。
• 開發和維護基於Python的自動化和數據處理腳本。
• 處理關聯和NoSQL數據庫。
• 整合來自各種來源的數據，包括API、雲存儲和流媒體平台。
• 監控數據管道，排除性能問題，確保數據完整性。
• 與數據科學家和分析師合作，支持機器學習和分析項目。
• 實施數據治理、安全和合規的最佳實踐。

所需技能和資格：

• 3年以上的資料工程經驗。
• 精通Python以進行數據處理和自動化。
• 有ETL框架的經驗。
• 對SQL和NoSQL數據庫有堅實的理解。
• 有大數據技術的經驗

請參考工作描述。