【40】岁程序员学【Flink】,入门

公司要求使用flink,于是找了几篇文章作为参考,具体见下面链接,记录一下整个入门过程,

本文目的只是为了记录整个入门过程,暂不考虑对错

参考1 https://www.cnblogs.com/ALittleMoreLove/archive/2018/08/09/9449992.html

参考2 https://www.cnblogs.com/limaosheng/p/10434848.html

一,环境

操作系统:window 10

JDK: java 8

开发环境: IDEA

二,准备工作

下载window nc工具,下载地址如下,

https://joncraton.org/blog/46/netcat-for-windows/

为了不让杀毒工具删除下载的nc.exe,一定要下载安全版本

Download nc111nt_safe.zip (password:nc) - Netcat for Windows (without -e)

解压,在cmd进入解压目录,运行如下命令

nc -L -p 7000 -v (注意一定要先运行否则例子会报错)

结果如下图:

【40】岁程序员学【Flink】,入门

 

三,建立wordcout例子工程

1)运行IDEA,建立maven项目,增加相关依赖,最终结果

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>flinkStudy</groupId>
    <artifactId>study1</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <flink.version>1.7.2</flink.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-wikiedits_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

    </dependencies>

</project>

2)参考上面参考链接2,编写代码,唯一不同是下面程序需要增加try-catch

env.execute("streaming word count");

3)运行例子,测试,在nc命令行输入单词用空格隔开,然后按回车,具体如下图

【40】岁程序员学【Flink】,入门

 

四,部署到flink

1)下载flink ,下载地址https://flink.apache.org/downloads.html,下载版本见下图

【40】岁程序员学【Flink】,入门

 

2) 解压,在cmd进入解压目录,启动flink,具体如下图,启动成功后会另外开启两个新的cmd窗口【40】岁程序员学【Flink】,入门

3) 在浏览器打开http://localhost:8081/,会看到如下界面

【40】岁程序员学【Flink】,入门

 

4) 参考上面参考链接1,进行打包,核心步骤在于file--->project structure里面如何添加 artifacts,具体见下图

【40】岁程序员学【Flink】,入门

【40】岁程序员学【Flink】,入门

【40】岁程序员学【Flink】,入门

5)在浏览器打开flink管理界面,把jar包上传到flink,具体见下图

【40】岁程序员学【Flink】,入门

6)上传成功后,选择上传的包,新建任务,具体见下图

【40】岁程序员学【Flink】,入门

按了submit 后,如果成功最终结果如下图

【40】岁程序员学【Flink】,入门

7) 测试,在nc命令行输入单词,会在flink打开的新的cmd窗口看到结果,具体如下图

【40】岁程序员学【Flink】,入门

本文相关源码:https://gitee.com/kengan/40_programmers_learn_flink