? ? Flink在9月份发布了最新版Flink1.14.0，新版本中 Flink 一个主要变化是集成的流媒体和批处理体验，此外，在 SQL API、更多连接器支持、检查点和 PyFlink 等方面也带来了许多新功能和改进。
更多详细内容，点击1.14.0 发布公告
GitHub 地址：https://github.com/apache/flink
参考链接：Apache Flink: Apache Flink 1.14.0 Release Announcement
? 正好我的Flink环境需要重新配置，那我就把最新的1.14安排上，具体介绍下怎么配置。
一、系统环境大数据基础环境就不必说了，ssh免密，时间同步，hosts配置，scala环境，最基本的hdfs肯定要有的，具体操作可以参考我另一篇博文
https://blog.csdn.net/suwei825/article/details/120761437https://blog.csdn.net/suwei825/article/details/120761437
二、Flink配置 2.1、下载上传Flink1.14.0软件包下载：https://flink.apache.org/downloads.html
?2.2、上传解压 tar -xzvf flink-1.14.0-bin-scala_2.12.tgz ?2.3、修改配置文件 修改master节点即可 [root@ss3 conf]# vi /software/flink-1.14.0/conf/masters ss3:8081 [root@localhost conf]# vi /software/flink-1.14.0/conf/workers ss3 ss4 ss5 [root@ss3 conf]# vi /software/flink-1.14.0/conf/flink-conf.yaml jobmanager.rpc.address: ss3 ##指向master节点 jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1024m 定义允许JVM在每个节点上分配的最大主内存量 taskmanager.memory.process.size: 1024m taskmanager.numberOfTaskSlots: 1 parallelism.default: 1 jobmanager.execution.failover-strategy: region web.upload.dir: /software/flink-1.14.0/jars #不能设置为HDFS env.ssh.opts: -p 22 ##指定传输端口，默认22时可不设置将以上修改的3个配置文件同步到ss4,ss5两个从节点
scp flink-conf.yaml root@ss4:/software/flink-1.14.0/conf/ scp masters root@ss4:/software/flink-1.14.0/conf/ scp workers root@ss4:/software/flink-1.14.0/conf/ 2.4、启动在master启动即可，另外两台无需操作：
[root@ss3 flink-1.14.0]# ./bin/start-cluster.sh
访问web管理端查看启动情况
?三、测试运行测试的话当然还是大数据的经典案例wordcount了
3.1安装nc yum install -y nc ?3.2 在控制台窗口1中启动一个本地服务 nc -l -p 19000 ?3.3 在控制台窗口2中提交flink程序 bin/flink run examples/streaming/SocketWindowWordCount.jar --hostname ss3 --port 19000?我们刷新web管理端，可以看到启动了一个job
?3.4 在控制台窗口3中打开out日志文件 [root@ss3 ~]# cd /software/flink-1.14.0/log/ [root@ss3 log]# tail -f flink-root-taskexecutor-0-ss3.out?out文件更新后，控制台中会自动显示新增的数据
3.5 输入测试数据我们回到控制台1窗口，输入语句，在控制台3中查看统计结果，如下图所示
?
?我们在一行语句中输入重复单词
?
?
?可以看到flink被统计了2次
?Job运行详情
总结 ? ? ? ? 感谢能看到这里的朋友😉
? ? ? ? 本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎
? ? ? ? 如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅
? ? ? ? 受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏
? ? ? ? 也可以扫描二维码或搜索关注我的微信公众号【猫头鹰数据分析】，留言交流🙏
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签： #Flink #集群测试 #SQL #API更多连接器支持检查点和 #pyflink
