Flink 可以运转在 Linux, Max OS X, 或许是 Windows 上。为了开发 Flink 运用顺序,在本地机器上需求有 Java 8.x 和 maven 环境。
假设有 Java 8 环境,运转下面的命令会输入如下版本信息:
$ java -version
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
假设有 maven 环境,运转下面的命令会输入如下版本信息:
$ mvn -version
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00)
Maven home: /Users/wuchong/dev/maven
Java version: 1.8.0_65, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "mac os x", version: "10.13.6", arch: "x86_64", family: "mac"
另外我们引荐运用 ItelliJ IDEA (社区收费版已够用)作为 Flink 运用顺序的开发 IDE。Eclipse 虽然也可以,但是 Eclipse 在 Scala 和 Java 混合型项目下会有些已知成绩,所以不太引荐 Eclipse。下一章节,我们会引见如何创立一个 Flink 工程并将其导入 ItelliJ IDEA。
创立 Maven 项目
我们将运用 Flink Maven Archetype 来创立我们的项目结构和一些初始的默许依赖。在你的任务目录下,运转如下命令来创立项目:
mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.6.1 \
-DgroupId=my-flink-project \
-DartifactId=my-flink-project \
-Dversion=0.1 \
-Dpackage=myflink \
-DinteractiveMode=false
你可以编辑下面的 groupId, artifactId, package 成你喜欢的途径。运用下面的参数,Maven 将自动为你创立如下所示的项目结构:
$ tree my-flink-project
my-flink-project
├── pom.xml
└── src
└── main
├── java
│ └── myflink
│ ├── BatchJob.java
│ └── StreamingJob.java
└── resources
└── log4j.properties
我们的 pom.xml 文件曾经包含了所需的 Flink 依赖,并且在 src/main/java 下有几个示例顺序框架。接上去我们将末尾编写第一个 Flink 顺序。
编写 Flink 顺序
启动 IntelliJ IDEA,选择 “Import Project”(导入项目),选择 my-flink-project 根目录下的 pom.xml。依据引导,完成项目导入。
在 src/main/java/myflink 下创立 SocketWindowWordCount.java 文件:
package myflink;
public class SocketWindowWordCount {
public static void main(String[] args) throws Exception {
}
}
如今这顺序还很基础,我们会一步步往外面填代码。留意下文中我们不会将 import 语句也写出来,由于 IDE 会自动将他们添加上去。在本节末尾,我会将残缺的代码展现出来,假设你想跳过下面的步骤,可以直接将最后的残缺代码粘到编辑器中。
Flink 顺序的第一步是创立一个 StreamExecutionEnvironment 。这是一个入口类,可以用来设置参数和创立数据源以及提交义务。所以让我们把它添加到 main 函数中:
StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();
下一步我们将创立一个从本地端口号 9000 的 socket 中读取数据的数据源:
DataStream text = env.socketTextStream("localhost", 9000, "\n");
(责任编辑:admin)