(4)FlinkSQL将socket数据写入到mysql方式一

本章节主要演示从socket接收数据,通过滚动窗口每30秒运算一次窗口数据,然后将结果写入Mysql数据库
图片
(1)准备一个实体对象,消息对象

package com.pojo;

import java.io.Serializable;

/**

  • Created by lj on 2022-07-05.
    */

public class WaterSensor implements Serializable {

private String id;
private long ts;
private int vc;

public WaterSensor(){

}

public WaterSensor(String id,long ts,int vc){
    this.id = id;
    this.ts = ts;
    this.vc = vc;
}

public int getVc() {
    return vc;
}

public void setVc(int vc) {
    this.vc = vc;
}

public String getId() {
    return id;
}

public void setId(String id) {
    this.id = id;
}

public long getTs() {
    return ts;
}

public void setTs(long ts) {
    this.ts = ts;
}

}

(2)编写socket代码,模拟数据发送

package com.producers;

import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.Random;

/**

  • Created by lj on 2022-07-05.
    */

public class Socket_Producer {

public static void main(String[] args) throws IOException {

    try {
        ServerSocket ss = new ServerSocket(9999);
        System.out.println("启动 server ....");
        Socket s = ss.accept();
        BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));
        String response = "java,1,2";

        //每 2s 发送一次消息
        int i = 0;
        Random r=new Random();   
        String[] lang = {"flink","spark","hadoop","hive","hbase","impala","presto","superset","nbi"};

        while(true){
            Thread.sleep(2000);
            response= lang[r.nextInt(lang.length)] + "," + i + "," + i+"\n";
            System.out.println(response);
            try{
                bw.write(response);
                bw.flush();
                i++;
            }catch (Exception ex){
                System.out.println(ex.getMessage());
            }

        }
    } catch (IOException | InterruptedException e) {
        e.printStackTrace();
    }
}

}

(3)从socket端接收数据,并设置30秒触发执行一次窗口运算

package com.examples;

import com.pojo.WaterSensor;
import com.sinks.RetractStream_Mysql;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;

import static org.apache.flink.table.api.Expressions.$;

/**

  • Created by lj on 2022-07-06.
    */

public class Flink_Group_Window_Tumble_Sink_Mysql {

public static void main(String[] args) throws Exception {

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
    DataStreamSource<String> streamSource = env.socketTextStream("127.0.0.1", 9999,"\n");
    SingleOutputStreamOperator<WaterSensor> waterDS = streamSource.map(new MapFunction<String, WaterSensor>() {
        @Override
        public WaterSensor map(String s) throws Exception {
            String[] split = s.split(",");
            return new WaterSensor(split[0], Long.parseLong(split[1]), Integer.parseInt(split[2]));
        }
    });

    // 将流转化为表
    Table table = tableEnv.fromDataStream(waterDS,
            $("id"),
            $("ts"),
            $("vc"),
            $("pt").proctime());

    tableEnv.createTemporaryView("EventTable", table);

    Table result = tableEnv.sqlQuery(
            "SELECT " +
                    "id, " +                //window_start, window_end,
                    "COUNT(ts) ,SUM(ts)" +
                    "FROM TABLE( " +
                    "TUMBLE( TABLE EventTable , " +
                    "DESCRIPTOR(pt), " +
                    "INTERVAL '30' SECOND)) " +
                    "GROUP BY id , window_start, window_end"
    );

    tableEnv.toRetractStream(result, Row.class).addSink(new RetractStream_Mysql()); 
    env.execute();
}

}

(4)定义一个写入到mysql的sink

package com.sinks;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
import org.apache.flink.types.Row;

/**

  • Created by lj on 2022-07-06.
    */

public class RetractStream_Mysql extends RichSinkFunction<Tuple2<Boolean, Row>> {

private static final long serialVersionUID = -4443175430371919407L;
PreparedStatement ps;
private Connection connection;

/**
 * open() 方法中建立连接,这样不用每次 invoke 的时候都要建立连接和释放连接
 *
 * @param parameters
 * @throws Exception
 */
@Override
public void open(Configuration parameters) throws Exception {
    super.open(parameters);
    connection = getConnection();
}

@Override
public void close() throws Exception {
    super.close();
    //关闭连接和释放资源
    if (connection != null) {
        connection.close();
    }
    if (ps != null) {
        ps.close();
    }
}

/**
 * 每条数据的插入都要调用一次 invoke() 方法
 *
 * @param context
 * @throws Exception
 */
@Override
public void invoke(Tuple2<Boolean, Row> userPvEntity, Context context) throws Exception {
    String sql = "INSERT INTO flinkcomponent(componentname,componentcount,componentsum) VALUES(?,?,?);";
    ps = this.connection.prepareStatement(sql);

    ps.setString(1,userPvEntity.f1.getField(0).toString());
    ps.setInt(2, Integer.parseInt(userPvEntity.f1.getField(1).toString()));
    ps.setInt(3, Integer.parseInt(userPvEntity.f1.getField(2).toString()));
    ps.executeUpdate();
}

private static Connection getConnection() {
    Connection con = null;
    try {
        Class.forName("com.mysql.jdbc.Driver");
        con = DriverManager.getConnection("jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=UTF-8&useSSL=false","root","root");
    } catch (Exception e) {
        System.out.println("-----------mysql get connection has exception , msg = "+ e.getMessage());
    }
    return con;
}

}

(5)效果演示,每30秒往数据库写一次数据
图片

 

10年IT行业从业经验,5+年技术型管理经验。

4 声望
3 粉丝
0 条评论
推荐阅读
(4)SparkSQL中如何定义UDF和使用UDF
Spark SQL中用户自定义函数,用法和Spark SQL中的内置函数类似;是saprk SQL中内置函数无法满足要求,用户根据业务需求自定义的函数。首先定义一个UDF函数:

NBI大数据阅读 282

封面图
Flink Forward Asia 2022 主论坛概览
2022 年 11 月 26-27 日,Flink Forward Asia(FFA)峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会,是目前国内最大的 Apache 顶级项目会议之一,也是 Flink 开发者...

MissD阅读 6.1k

第十六届中国大数据技术大会五大分论坛顺利举办!
1 月 8 日下午,由苏州市人民政府指导、中国计算机学会主办、苏州市吴江区人民政府支持,CCF 大数据专家委员会、苏州市吴江区工信局、吴江区东太湖度假区管委会、苏州市吴江区科技局、苏州大学未来科学与工程学院...

MissD阅读 5.7k

企业流程数字化转型研讨会暨《流程优化风暴》新书发布会 即将召开
伴随数字经济的来临,数字化转型已成为社会经济发展的主旋律,国内众多企业将其作为战略核心并深入推进。在数字化转型工作逐渐进入细分领域的过程中,作为企业业务实施的基础支撑,企业业务流程已成为数字化转型...

MissD阅读 4.9k

配置 Hue 访问 AWS S3 中国区(qbit)
Hue: Hadoop User Experience环境 {代码...} qbit 参照这两篇 Hue 官方文档搞了很久都没配好:文档一,文档二文档编写者估计没考虑到独立运营的 AWS 中国区用户的痛搞明白了也简单,就是在官方文档的基础上还得配...

qbit2阅读 2.3k评论 1

高效数据运营赋能数字化转型研讨会暨《DataOps 实践手册》新书发布会 预约通道开启!
隆重预告高效数据运营赋能数字化转型研讨会暨《DataOps 实践手册》新书发布会 主办单位:机械工业出版社举办时间:2023 年 1 月 10 日 8:30-12:00会议背景随着数据呈指数级增长,机器学习(ML)和人工智能(AI)...

MissD阅读 3.6k

Flink 在米哈游的应用实践
米哈游成立于 2011 年,致力于为用户提供高品质、超出预期的产品和服务。公司陆续推出多款人气产品,如崩坏学园 2、崩坏 3、未定事件簿、原神以及社区产品米游社等。

ApacheFlink1阅读 868

封面图

10年IT行业从业经验,5+年技术型管理经验。

4 声望
3 粉丝
宣传栏