數據工程師

Mergen Partners Private Limited

₱200-230K[月薪]
远程办公5 - 10 年經驗本科全職
分享

遠程工作詳情

工作開放國家菲律賓

語言要求英語

這項遠距工作向特定國家的候選人開放。 請確認您是否要繼續,儘管可能有位置限制

職位描述

顯示原文

簡介

你是那個人嗎?

作為技術領導工程師 - 數據,你將設計、實施和擴展基於AWS S3、Glue、Lake Formation和DMS的端到端數據平台。你將帶領一個小型工程師團隊,並與來自欺詐、財務、產品和工程等不同部門的利益相關者跨部門合作,以確保業務內的數據訪問可靠、及時且安全。

你將倡導數據設計、治理和可觀測性的最佳實踐,利用生成式AI工具來提高工程生產力並加快洞察時間。


你將倡導數據設計、治理和可觀測性的最佳實踐,利用生成式AI工具來提高工程生產力並加快洞察時間。


你將貢獻於

  • 擁有流式和批量工作負載的數據湖架構的設計和可擴展性,利用AWS原生服務。
  • 領導使用AWS Glue、DMS、Kinesis/Kafka和PySpark開發數據攝取、轉換和存儲管道。
  • 結構化並演變數據為開放表格式(Apache Iceberg、Delta Lake),以支持下游服務的實時和時間旅行查詢。
  • 推動數據產品化,使得針對欺詐檢測、對賬和報告用例的策劃數據集能夠進行API優先和自助訪問。
  • 定義和跟蹤關鍵數據管道的服務水平協議(SLAs)和服務水平目標(SLOs),確保在受到監管的金融科技環境中高可用性和數據準確性。
  • 與信息安全、SRE和數據治理團隊協作,以強化數據安全、血統追蹤、訪問控制和合規性(GDPR、MAS TRM)。
  • 使用生成式AI工具提高開發者生產力,包括自動生成測試工具、架構文檔、轉換架構和性能洞察。
  • 指導數據工程師,設置技術方向,並確保交付高質量、可觀測的數據管道。


職責

  • 設計可擴展、成本優化的管道,通過實時和批量範式,使用AWS Glue、Step Functions、Airflow或EMR等工具。
  • 管理來自交易來源的數據攝取,使用AWS DMS,專注於架構漂移處理和低延遲複製。
  • 為存儲於S3中的Iceberg或Hudi表設計高效的分區、壓縮和元數據策略,並使用Glue和Lake Formation進行編目。
  • 建立數據集市、審計視圖和分析層,以支持機器驅動的過程(例如,欺詐引擎)和人類可讀的介面(例如,儀表板)。
  • 確保使用OpenLineage或Great Expectations進行指標、警報和血統追蹤的強大數據可觀測性。
  • 與利益相關者和高層領導進行數據成本、性能、架構設計的季度回顧。
  • 使用GitOps和Terraform等工具強制執行版本控制、持續集成/持續部署(CI/CD)和基礎設施代碼化實踐。

職位要求

  • 至少有7年的數據工程經驗。
  • 在AWS數據堆疊方面具有深入的實踐經驗:Glue(作業和抓取器)、S3、Athena、Lake Formation、DMS和Redshift Spectrum。
  • 具備設計實時、流式和批量系統數據管道的專業知識,包括架構設計、格式優化和服務水平協議(SLA)。
  • 具有強大的Python(PySpark)編程技能和高級SQL分析處理及轉換能力。
  • 有管理使用開放表格格式(Iceberg、Delta Lake、Hudi)的大規模數據架構的經驗。
  • 了解使用Kinesis/Kafka進行流處理和通過Airflow或Step Functions進行編排。
  • 在受監管環境中實施數據訪問控制、加密政策和合規工作流程的經驗。
  • 能夠將GenAI工具集成到數據工程流程中,以推動可衡量的生產力和質量提升,並保持強大的工程衛生。
  • 展示出領導團隊、推動架構決策和與跨功能利益相關者合作的能力。

附加優勢

  • 在符合PCI DSS或其他中央銀行監管環境中工作,並具備審計日誌和數據保留要求的經驗。
  • 在支付或銀行領域的經驗,具備與對賬、退款分析或欺詐檢測相關的用例。
  • 熟悉數據合約、數據網格模式和數據作為產品的原則。
  • 有使用GenAI自動化數據文檔、生成數據測試或支持對賬用例的經驗。
  • 接觸過AWS Glue、Athena和S3中的性能調優和成本優化策略。
SQLPythonpysparkAWS DatastackGlueS3AthenaLake Formation
Preview

Kaushik Jatin

DirectorMergen Partners Private Limited

活躍於三天內

發布於 26 June 2025

舉報

Bossjob安全提醒

若該職位需要您出國工作,請提高警惕,並小心詐騙。

如果您在求職過程中遇到雇主有以下行為, 請立即檢舉

  • 扣留您的身分證件,
  • 要求您提供擔保或收取財產,
  • 迫使您投資或籌集資金,
  • 收取非法利益,
  • 或其他違法情形。