阿帕奇Flink工程师

PeoplePlus Tech

₱70-130K[月薪]
远程工作5-10年工作经验本科全职
分享

远程工作详情

工作开放国家：菲律宾

语言要求：英语

此远程作业对特定国家的候选人开放。请确认您是否想要继续，尽管有可能的位置限制

职位描述

Show original text

职位描述

  • Kafka集成 - 设置Flink作业以无缝连接到特定的Kafka主题，定义消费者组，并管理数据的序列化/反序列化。
  • 流处理逻辑 - 使用DataStream API编写Flink数据处理逻辑，以过滤、聚合、窗口化和操作从Kafka接收的数据流。
  • 状态管理 - 在Flink作业中实现有状态操作，以维护数据流中事件之间的上下文，例如跟踪运行总数或会话信息。
  • Flink作业优化 - 调整Flink作业参数以提高性能、并行性和容错性，以高效处理大规模数据流。
  • 监控与警报 - 设置监控系统以跟踪Flink作业的健康状况，识别潜在问题，并触发运营问题的警报。
  • 开发Flink应用程序 - 编写代码以使用Flink的DataStream API定义数据管道，包括数据摄取、转换和输出操作。
  • 流处理设计 - 利用Flink的状态管理、窗口化和容错能力架构实时数据处理解决方案。
  • 性能优化 - 监控并调整Flink作业，以确保高效的数据处理和高吞吐量。
  • 与其他系统的集成 - 将Flink应用程序连接到数据源，如Kafka、数据库和其他数据处理系统。
  • 集群管理 - 在分布式计算集群（如Kubernetes）上部署和管理Flink作业。

职位要求

  • 深入理解Kafka架构、生产者、消费者、分区、代理和主题管理。
  • 具备Kafka架构、生产者、消费者、主题管理和Kafka Streams API的知识。
  • 熟悉Java开发，以编写Flink应用程序并使用Java库与Kafka进行交互。
  • 理解流处理原理、事件时间处理、窗口技术和精确一次语义。
  • 对Flink概念有深入理解，如DataStream API、操作符、状态管理、窗口和容错机制。
  • 熟悉分布式计算原理及容错、负载均衡和数据分区等概念。
  • 具有使用其他数据处理工具（如Kafka、Spark或Hadoop）的经验将是有益的。
  • 理解SQL对使用Flink的SQL API将是有价值的。
  • 处理来自传感器或应用程序的实时数据，以生成近乎即时的洞察。
  • 实时分析金融交易以识别可疑活动。
  • 执行实时日志聚合和分析以检测系统问题。
  • 实时跟踪库存水平以优化库存管理。


阿帕奇弗林克
Preview

Andre Zabala

HR ManagerPeoplePlus Tech

Active within three days

发布于 10 March 2025

猜你想看

查看更多

PeoplePlus Tech

未融资

51-100人

信息技术

查看热招工作

举报

Bossjob安全提醒

如果该职位要求您在海外工作，请保持警惕，谨防欺诈。

如果你在求职过程中遇到有以下行为的雇主， 请立即举报

  • 扣留您的身份证，
  • 要求您提供担保或收取财产，
  • 迫使你投资或筹集资金，
  • 收集非法利益，
  • 或其他非法情况。