flumekafka区别 flume kafka flink

1、Flume与Kafka各有专长flumekafka区别，适用场景不同Flume被设计为日志收集系统flumekafka区别，特别适用于线上数据flumekafka区别的采集，无论是文件落地还是通过socket传输的数据然而，当线上应用或服务的接口难以改动以适应向Kafka写入数据时，Flume的源通道目的设计模式便显得极为适用，它能够灵活地处理数据传输任务然而，对于大规模数据传输。

2、技术架构采用FlumeKafkaSpark组合，构建实时与离线数据处理框架功能特点通过Flume高效传输数据，Kafka确保实时性，Spark进行高效数据处理和分析利用MysqlSpringMVCMybatis和AngularJs提供后端支持，Echarts将数据转化为直观图表，帮助用户洞察新闻热点趋势2 快联网站流量日志分析系统技术架构以Flu。

3、ETL，抽取转换加载的缩写，主要工作是从数据源抽取，进行清洗加工，最后存储到目标数据库ETL工作流程包括抽取转换加载三个环节抽取环节可能使用如SqoopFlumeKafka等工具，离线抽取可能使用Sqoop或DataX，实时抽取可能使用FlumeKafkaMaxwell或Kettle转换环节涉及数据清洗合并拆分加工。