我們正在招聘一名熟悉數據爬取、數據清洗、數據工程和特徵工程的數據工程師加入我們不斷壯大的團隊。你將負責從多種數據源收集和準備大規模數據集，確保數據質量，並將原始數據轉化為可用於分析和機器學習的格式。這是我們AI和Web3系統構建中的關鍵角色。

 崗位職責

• 設計並實現數據管道（data pipeline），用於收集、處理、清洗來自網頁爬取和API等多種數據源的大規模數據。
• 清洗和預處理原始數據，確保數據高質量並適用於分析和機器學習。
• 執行特徵工程，從原始數據集中提取有價值的特徵，提升機器學習模型表現。
• 與數據科學家和工程師緊密合作，明確數據需求，提供乾淨且結構化的數據。
• 自動化重複任務，優化數據流程，提高效率和擴展性。
• 監控並維護數據管道，確保數據流與存儲的可靠性。
• 開展數據驗證和質量檢查，確保數據準確性和一致性。

職位要求

• 精通Python和SQL進行數據操作，具備至少2年數據工程或相關領域的經驗。
• 有數據爬取（如網頁爬蟲、API集成）及處理大規模數據集的經驗。
• 熟練掌握數據清洗和預處理技術，尤其注重為分析和機器學習準備數據。
• 熟悉特徵工程，能夠將原始數據轉化為適合建模的格式。
• 具備數據庫使用經驗（如MySQL、PostgreSQL、NoSQL等）。
• 熟悉雲平台（如AWS、Google Cloud）以及相關數據存儲技術。
• 具備較強的問題解決能力和細節關注能力。
• 優秀的溝通和協作能力，能在快節奏環境中跨團隊高效合作。

加分項

• 熟悉大數據技術（如Hadoop、Spark）和分佈式系統。
• 有Apache Airflow或類似數據管道工具的使用經驗。
• 具備AI/機器學習相關的數據準備和管道集成經驗。
• 熟悉容器化技術（如Docker、Kubernetes）。

 我們提供

• 極具競爭力的薪資待遇及股權激勵
• 遠程優先的靈活辦公環境
• 接觸尖端項目與前沿技術的機會
• 與全球頂尖行業精英共事的專業成長機會
• 全球化、多元化且包容的團隊氛圍