版本:V2.0

Flink旨在以闪电般的速度处理连续的数据流。此指南将展示如何下载、安装和运行Flink的最新版本。还将运行一个示例Flink作业,并在web UI中查看它。

下载Flink

Flink在所有类UNIX环境中运行,即Linux、Mac OS X和Cygwin(适用于Windows)。需要安装Java 11。要检查已安装的Java版本,在终端中输入:

$ java -version

接下来下载Flink的最新二进制版本,然后提取存档:

浏览项目目录

导航到提取的目录并列出内容:

$ cd flink-* && ls -l

你应该看到类似的东西:
image.png

现在你可能想注意一下:

  • bin/ 目录包含Flink二进制文件以及几个管理各种作业和任务的bash脚本
  • conf/ 目录包含配置文件,包含Flink配置文件
  • examples目录包含可以与flink一起使用的示例应用程序

启动和停止本地集群

要启动本地集群,请运行Flink附带的bash脚本:

$ ./bin/start-cluster.sh

你应该会看到这样的输出:
image.png
Flink现在作为后台进程运行,你可以使用以下命令检查其状态:

$ ps aux | grep flink

在浏览器中访问localhost:8081查看Web UI,以查看Flink仪表板,并查看集群是否已启动并运行。
要快速停止集群和所有正在运行的组件,可以使用提供的脚本:

$ ./bin/stop-cluster.sh

提交Flink作业

Flink提供了一个CLI工具bin/flink,可以运行打包为Java ARCHives(JAR)的程序并控制其执行。提交作业意味着将作业的JAR文件和相关依赖项上传到正在运行的Flink集群并执行它。

Flink版本附带示例作业,你可以在examples/ 文件夹中找到。

要将示例作业部署到正在运行的集群,使用以下命令:

$ ./bin/flink run examples/streaming/WordCount.jar

你可以通过查看日志来验证输出:

$ tail log/flink-*-taskexecutor-*.out

样例输出:

  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)

此外,你可以查看Flink的Web UI来监控集群和运行作业的状态,查看执行的数据流计划:
image.png
在这里,对于作业执行,Flink有两个运算符。第一个是从集合源读取数据的源运算符。第二个运算符是汇总单词计数的变化运算符。
你可以查看作业执行的时间表:
image.png
你已成功运行Flink应用程序,随意从examples/ 文件夹中选择任何其他JAR包或部署自己的作业。


博弈
2.5k 声望1.5k 粉丝

态度决定一切