Flink 个人学习实时数据管道框架--核心模块详解

3.1 数据源模块支持多种数据源接入Kafka 消息队列实时数据流接入MySQL 数据库维表数据和学习数据Redis 缓存实时状态和配置信息文件系统CSV、JSON、Parquet 格式文件3.2 Flink 处理模块核心处理流程// Flink 数据入湖示例DataStreamVehicleData sourceStream env.addSource(new KafkaSource()).map(new DataParser()).keyBy(VehicleData::getVehicleId).window(TumblingProcessingTimeWindows.of(Time.seconds(10))).process(new SOCAnalysisProcess());// 写入 Iceberg 数据湖sourceStream.sinkTo(IcebergSink.forRow(table,SimpleAvroEncoder::new));3.3 数据湖模块Iceberg 数据湖配置Catalog 配置Hive Metastore 集成表格式Iceberg V2 格式存储路径hdfs://namenode:9000/iceberg/warehouse分区策略按时间、车辆类型分区