您好,欢迎来到12图资源库!分享精神,快乐你我!我们只是素材的搬运工!!
  • 首 页
  • 当前位置:首页 > 开发 > WEB开发 >
    5分钟从零构建第一个 Flink 运用
    时间:2018-11-08 21:03 来源:网络整理 作者:网络 浏览:收藏 挑错 推荐 打印

    Flink 可以运转在 Linux, Max OS X, 或许是 Windows 上。为了开发 Flink 运用顺序,在本地机器上需求有 Java 8.x 和 maven 环境。

    假设有 Java 8 环境,运转下面的命令会输入如下版本信息:

    $ java -version 

    java version "1.8.0_65" 

    Java(TM) SE Runtime Environment (build 1.8.0_65-b17) 

    Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode) 

    假设有 maven 环境,运转下面的命令会输入如下版本信息:

    $ mvn -version 

    Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00) 

    Maven home: /Users/wuchong/dev/maven 

    Java version: 1.8.0_65, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home/jre 

    Default locale: zh_CN, platform encoding: UTF-8 

    OS name"mac os x", version: "10.13.6", arch: "x86_64", family: "mac" 

    另外我们引荐运用 ItelliJ IDEA (社区收费版已够用)作为 Flink 运用顺序的开发 IDE。Eclipse 虽然也可以,但是 Eclipse 在 Scala 和 Java 混合型项目下会有些已知成绩,所以不太引荐 Eclipse。下一章节,我们会引见如何创立一个 Flink 工程并将其导入 ItelliJ IDEA。

    创立 Maven 项目

    我们将运用 Flink Maven Archetype 来创立我们的项目结构和一些初始的默许依赖。在你的任务目录下,运转如下命令来创立项目:

    mvn archetype:generate \ 

        -DarchetypeGroupId=org.apache.flink \ 

        -DarchetypeArtifactId=flink-quickstart-java \ 

        -DarchetypeVersion=1.6.1 \ 

        -DgroupId=my-flink-project \ 

        -DartifactId=my-flink-project \ 

        -Dversion=0.1 \ 

        -Dpackage=myflink \ 

        -DinteractiveMode=false 

    你可以编辑下面的 groupId, artifactId, package 成你喜欢的途径。运用下面的参数,Maven 将自动为你创立如下所示的项目结构:

    $ tree my-flink-project 

    my-flink-project 

    ├── pom.xml 

    └── src 

        └── main 

            ├── java 

            │   └── myflink 

            │       ├── BatchJob.java 

            │       └── StreamingJob.java 

            └── resources 

                └── log4j.properties 

    我们的 pom.xml 文件曾经包含了所需的 Flink 依赖,并且在 src/main/java 下有几个示例顺序框架。接上去我们将末尾编写第一个 Flink 顺序。

    编写 Flink 顺序

    启动 IntelliJ IDEA,选择 “Import Project”(导入项目),选择 my-flink-project 根目录下的 pom.xml。依据引导,完成项目导入。

    在 src/main/java/myflink 下创立 SocketWindowWordCount.java 文件:

    package myflink; 

    public class SocketWindowWordCount { 

      public static void main(String[] args) throws Exception { 

      } 

    如今这顺序还很基础,我们会一步步往外面填代码。留意下文中我们不会将 import 语句也写出来,由于 IDE 会自动将他们添加上去。在本节末尾,我会将残缺的代码展现出来,假设你想跳过下面的步骤,可以直接将最后的残缺代码粘到编辑器中。

    Flink 顺序的第一步是创立一个 StreamExecutionEnvironment 。这是一个入口类,可以用来设置参数和创立数据源以及提交义务。所以让我们把它添加到 main 函数中:

    StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); 

    下一步我们将创立一个从本地端口号 9000 的 socket 中读取数据的数据源:

    DataStream text = env.socketTextStream("localhost", 9000, "\n"); 

    (责任编辑:admin)