flink-streaming-platform-web部署终极指南：本地、YARN、Docker全攻略

flink-streaming-platform-web部署终极指南本地、YARN、Docker全攻略【免费下载链接】flink-streaming-platform-web基于flink的实时流计算web平台项目地址: https://gitcode.com/gh_mirrors/fl/flink-streaming-platform-webflink-streaming-platform-web是基于Flink的实时流计算Web平台本文将为您提供三种部署方式的完整指南帮助您快速搭建属于自己的实时流计算平台。一、环境准备在开始部署前请确保您的环境满足以下要求操作系统Linux暂时不支持Windows系统Hadoop版本2Flink版本1.12.0官方地址https://ci.apache.org/projects/flink/flink-docs-release-1.12/JDK版本1.8Scala版本2.12Kafka版本1.0MySQL版本5.6二、本地部署2.1 Flink客户端安装下载对应版本的Flinkwget https://www.apache.org/dyn/closer.lua/flink/flink-1.16.2/flink-1.16.2-bin-scala_2.12.tgz tar -xvf flink-1.16.2-bin-scala_2.12.tgz修改配置文件flink-conf.yaml设置classloader.resolve-order: parent-firstHadoop集成cd flink-1.12.0/lib wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar export HADOOP_CLASSPATHhadoop classpath2.2 平台安装克隆仓库git clone https://gitcode.com/gh_mirrors/fl/flink-streaming-platform-web cd flink-streaming-platform-web执行MySQL语句mysql -u root -p CREATE DATABASE flink_web; use flink_web; source docs/sql/flink_web.sql修改数据库连接配置vi flink-streaming-platform-web/conf/application.properties修改数据库连接信息确保与您的MySQL配置匹配。启动Web应用cd flink-streaming-platform-web/bin sh deploy.sh start访问Web界面http://${ip或者hostname}:9084/默认登录账号admin密码123456三、YARN模式部署3.1 环境准备确保Hadoop集群正常运行并且Flink客户端已正确配置Hadoop环境。3.2 YARN配置在Flink配置目录下放入Hadoop客户端配置文件cp $HADOOP_HOME/etc/hadoop/core-site.xml flink-1.16.2/conf/ cp $HADOOP_HOME/etc/hadoop/yarn-site.xml flink-1.16.2/conf/ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml flink-1.16.2/conf/配置HADOOP_CLASSPATH环境变量export HADOOP_CLASSPATHhadoop classpath3.3 启动YARN集群模式按照本地部署的步骤安装flink-streaming-platform-web在Web界面中配置Flink集群进入系统设置设置Flink客户端路径选择部署模式为YARN配置YARN相关参数四、Docker部署4.1 Docker Compose方式创建docker-compose.yml文件version: 3 services: flink-streaming-platform-web: container_name: flink-streaming-platform-web-demo image: registry.cn-hangzhou.aliyuncs.com/flink-streaming-platform-web/flink-web:flink-1.13.2-20220327 ports: - 8081:8081 - 9084:9084 mysql: restart: always image: registry.cn-hangzhou.aliyuncs.com/flink-streaming-platform-web/mysql:mysql-5.7.16-20220327 container_name: mysql-web ports: - 3307:3306 environment: - MYSQL_ROOT_PASSWORDroot - MYSQL_DATABASEroot - TZAsia/Shanghai启动容器docker-compose up -d mysql docker-compose up -d flink-streaming-platform-web docker-compose restart flink-streaming-platform-web查看日志docker-compose logs -f flink-streaming-platform-web访问Web界面http://127.0.0.1:9084默认登录账号admin密码1234564.2 手动构建Docker镜像查看DockerfileDockerfile构建镜像cd docker docker build -t flink-streaming-platform-web:latest .运行容器docker run -d -p 9084:9084 -p 8081:8081 --name flink-web flink-streaming-platform-web:latest五、部署后验证5.1 检查Web界面访问部署后的Web界面使用默认账号密码登录确认系统正常运行。5.2 提交测试任务登录系统后导航到任务管理页面创建新任务选择test_datagen_simple模板提交任务查看任务运行状态5.3 查看Flink控制台访问Flink Web控制台http://127.0.0.1:8081/#/overview确认任务正在运行。六、常见问题解决6.1 端口冲突如果启动时报端口冲突错误可以修改配置文件中的端口Web端口在conf/application.properties中修改server.port参数默认9084JMX端口在启动脚本deploy.sh中修改默认8999Debug端口在启动脚本deploy.sh中修改默认99016.2 内存配置如果系统内存不足或需要调整JVM参数可以修改deploy.sh中的JVM参数JAVA_OPTS-Xmx1888M -Xms1888M -Xmn1536M -XX:MaxMetaspaceSize512M -XX:MetaspaceSize512M6.3 数据库连接问题确保MySQL服务正常运行并且配置文件中的数据库连接信息正确spring.datasource.urljdbc:mysql://localhost:3306/flink_web?useUnicodetruecharacterEncodingutf-8useSSLfalse spring.datasource.usernameroot spring.datasource.password123456七、总结本文详细介绍了flink-streaming-platform-web的三种部署方式本地部署、YARN模式部署和Docker部署。无论您是初学者还是有经验的开发者都可以根据自己的需求选择合适的部署方式。通过本文的指南您可以快速搭建起一个功能强大的实时流计算平台开始您的流处理之旅。希望本指南对您有所帮助如有任何问题请参考项目文档或提交issue。【免费下载链接】flink-streaming-platform-web基于flink的实时流计算web平台项目地址: https://gitcode.com/gh_mirrors/fl/flink-streaming-platform-web创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考