美文网首页
【DataHub】3.源码学习 kafka替换可行性分析

【DataHub】3.源码学习 kafka替换可行性分析

作者: 小王爱写BUG | 来源:发表于2020-08-06 18:04 被阅读0次

[grale项目构建](https://www.jianshu.com/p/592fd7c10265

confluent Kafka 应用

com\linkedin\metadata\kafka\config\KafkaConfig.java

  @Value("${KAFKA_SCHEMAREGISTRY_URL:http://localhost:8081}")
  private String kafkaSchemaRegistryUrl;
# 读取配置文件的路径,默认为http://localhost:8081

Kafka 中使用 Avro 序列化组件(三):Confluent Schema Registry

KafkaEventProducerFactory.java

datahub-master\gms\factories\src\main\java\com\linkedin\common\factory\KafkaEventProducerFactory.java

  • 序列化方式:AvroSerializer

kafka自定义消息序列化和反序列化方式

  • SchemaRegistryUrl (配置文件属性)
    Schema Registry 为 Avro 和 Protobuf 等内置编码格式维护 Schema 文本
    KafkaProperties.java (bean) -》KafkaProducer.java

SchemaRegistry
Kafka Schema Registry 原理
Kafka Schema Registry 使用教程(JAVA)

如果没有 Schema Registry服务,自定义的schema需要在数据生产端和数据消费端都保存。Kafka Schema Registry 提供了 KafkaAvroSerializer 和 KafkaAvroDeserializer 两个类。有了 Schema Registry服务,数据生成方设置好Schema,会自动注册到 registry服务中,这样数据消费方就不需要保存schema,直接消费就可以。


shema-registry.png

kafka-rest-proxy 简介

kafka-rest-proxy 简介

相关文章

  • Kafka源码分析-Content Table

    Kafka源码分析-网络层-1 Kafka源码分析-网络层-2 Kafka源码分析-网络层-3 Kafka源码分析...

  • KafkaProducer

    Kafka源码阅读(一):Kafka Producer整体架构概述及源码分析 zqhxuyuan Kafka源码分...

  • 项目技术选型

    数据采集传输 FLUME,DATAHUB,RDS FLUME,KAFKA,SQOOP,DATAX 数据存储 MAX...

  • 为什么说Kafka使用磁盘比内存快

    学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的...

  • 阿里云计算框架

    阿里云产品 简介 类比 DATAHUB 数据总线 KAFKA+各种接口 MAXCOMPUTE 大数据计算框架 ...

  • KafkaProducer Sender 线程详解(含详细的执行

    温馨提示:本文基于 Kafka 2.2.1 版本。 上文 《源码分析 Kafka 消息发送流程》 已经详细介绍了 ...

  • kafka MetaData

    阅读以下两个即可 Kafka源码阅读(二):Producer Metadata概述及源码分析 KafkaProdu...

  • 在阿里云用Flink Sql同步polardb数据到hbase

    技术准备:开通dts开通datahub开通kafka队列(0.10版),按时付费每小时2.35元开通hbase s...

  • kafka源码导入idea

    最近开始学习kafka源码,在将kafka源码导入idea的过程中遇到各种问题,故做此记录。 下载源码从githu...

  • 学习路线

    1. 基础知识 先看统计学习方法 2.源码学习 spark kafka 3.项目实践 自建项目 4.刷题 leet...

网友评论

      本文标题:【DataHub】3.源码学习 kafka替换可行性分析

      本文链接:https://www.haomeiwen.com/subject/wfofdktx.html