工作範圍/職責：

1. 數據管道開發：

· 設計、實現和優化使用Databricks和相關技術的端到端數據管道。

· 構建工作流以處理大規模數據攝取、轉換和存儲。

2. 針對LLM的數據準備：

· 預處理、清理和結構化多樣化數據集（文本、結構化和非結構化）以便LLM訓練和微調。

· 實施特徵工程、標記化和向量化技術來支持NLP模型。

3. 性能優化：

· 使用Databricks功能，包括Delta Lake和MLflow，以簡化數據工作流程。

· 優化數據基礎設施以提高可用性、可擴展性和成本效率。

4. 與團隊的合作：

· 與數據科學家、機器學習工程師及其他相關人員密切合作，以了解LLM技術要求的數據需求。

· 確保工程管道與機器學習目標之間的一致性。

5. 數據質量與治理：

· 實施流程以確保數據質量、一致性並遵守治理政策。

· 在整個管道生命周期中監控和維護數據完整性。

6. 新興技術採用：

· 隨時了解Databricks、生成式人工智能和LLM技術的進展。

· 貢獻於採用創新工具和實踐以改善工作流程。

要求和資格（教育與工作經驗）：

經驗：

· 7年以上數據工程角色經驗，至少有2年在領導角色中的經驗及涉及Databricks的項目。

· 在數據管道、特徵工程及機器學習的數據集準備方面具備成熟的專業知識，尤其是針對LLM的專業知識。

· 有構建企業級應用程序與GenAI或人工智能/機器學習集成的經驗。

技術技能：

· 精通Databricks、Apache Spark和Delta Lake。

· 精通Python和SQL的編程技能；了解像pandas、NumPy或PyTorch等庫者優先

· 理解狀態管理庫，如Redux、Recoil或Zustand、Cypress，以及版本控制（Git）。

· 了解企業應用程序的網絡安全原則和合規要求。

軟技能：

· 優秀的問題解決和決策能力。

· 優秀的溝通和領導能力，能夠引導技術討論和指導團隊成員。

· 對於交付質量有強烈的重視。

請參考職位描述。