【40】岁程序员学【Flink】,入门
公司要求使用flink,于是找了几篇文章作为参考,具体见下面链接,记录一下整个入门过程,
本文目的只是为了记录整个入门过程,暂不考虑对错
参考1 https://www.cnblogs.com/ALittleMoreLove/archive/2018/08/09/9449992.html
参考2 https://www.cnblogs.com/limaosheng/p/10434848.html
一,环境
操作系统:window 10
JDK: java 8
开发环境: IDEA
二,准备工作
下载window nc工具,下载地址如下,
https://joncraton.org/blog/46/netcat-for-windows/
为了不让杀毒工具删除下载的nc.exe,一定要下载安全版本
Download nc111nt_safe.zip (password:nc) - Netcat for Windows (without -e)
解压,在cmd进入解压目录,运行如下命令
nc -L -p 7000 -v (注意一定要先运行否则例子会报错)
结果如下图:
三,建立wordcout例子工程
1)运行IDEA,建立maven项目,增加相关依赖,最终结果
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>flinkStudy</groupId>
<artifactId>study1</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<flink.version>1.7.2</flink.version>
</properties>
<dependencies>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-wikiedits_2.11</artifactId>
<version>${flink.version}</version>
</dependency>
</dependencies>
</project>
2)参考上面参考链接2,编写代码,唯一不同是下面程序需要增加try-catch
env.execute("streaming word count");
3)运行例子,测试,在nc命令行输入单词用空格隔开,然后按回车,具体如下图
四,部署到flink
1)下载flink ,下载地址https://flink.apache.org/downloads.html,下载版本见下图
2) 解压,在cmd进入解压目录,启动flink,具体如下图,启动成功后会另外开启两个新的cmd窗口
3) 在浏览器打开http://localhost:8081/,会看到如下界面
4) 参考上面参考链接1,进行打包,核心步骤在于file--->project structure里面如何添加 artifacts,具体见下图
5)在浏览器打开flink管理界面,把jar包上传到flink,具体见下图
6)上传成功后,选择上传的包,新建任务,具体见下图
按了submit 后,如果成功最终结果如下图
7) 测试,在nc命令行输入单词,会在flink打开的新的cmd窗口看到结果,具体如下图