TCP Keepalive与go-rpc的tcp连接

a朋

TCP Keepalive

tcp连接被抽象为一个socket,socket上添加了SO_KEEPALIVE后,该socket便可以启用keepalive。

keepalive的连接为长连接,这样client向server交互时不用每次都新建连接,用长连接进行持续的数据读取和写入即可。

keepalive的连接需要定期进行探测,当client不再活跃时,server端及时的释放该连接。

tcp keepalive的参数:

  • tcp_keepalive_time: 单位s,默认7200

    • client与server多久没有数据交互,就认为connection idle,然后开始发起探测。
  • tcp_keepalive_intvl: 单位s,默认75

    • 一次探测完毕后,等待多久进行下一次探测。
  • tcp_keepalive_probes:单位次数,默认9

    • 最大探测次数,某个连接经过N次探测后仍然不活跃将被释放。

默认情况下:

  • 2个小时(7200s)(tcp_keepalive_time)没有数据交互,就认为connection idle;
  • 然后发起keep-alive消息,探测client是否存活;
  • 每隔tcp_keepalive_intvl(75s)发起一次探测,探测tcp_keepalive_probes(9)次后,将彻底kill连接;

总结来说,1个tcp连接,要等:7200+75*9=2hour11min后,才被kill掉;

一般生产环境都会配置上面的3个参数,目录/proc/sys/net/ipv4/下:

//tcp_keepalive_time 参数
/proc/sys/net/ipv4 # cat tcp_keepalive_time
90
//tcp_keeplive_intv 参数
/proc/sys/net/ipv4# cat tcp_keepalive_intvl
15
//tcp_keepalive_probes参数
/proc/sys/net/ipv4# cat tcp_keepalive_probes
2

当程序中socket未配置keep-alive参数时,就使用系统上配置的参数。

Keepalive: TCP VS HTTP

Http的keepalive用于连接复用,在同一个连接上request-response。

Tcp的keepalive用于保活、心跳。

go-rpc的TCP Keepalive

go-rpc是golang自带的rpc框架,server端的代码:

func StartRpc() {
    tcpAddr, err := net.ResolveTCPAddr("tcp", addr)
    if err != nil {
        log.Fatalln("addr err:", err)
    }
    listener, err := net.ListenTCP("tcp", tcpAddr)
    if err != nil {
        log.Fatalln("listen err:", err)
    }
    server := rpc.NewServer()
    server.Register(new(Transfer))
    for {
        conn, err := listener.AcceptTCP()
        if err != nil {
            log.Println("accept err:", err)
            continue
        }
        log.Println("accept tcp from:", conn.RemoteAddr())
        go server.ServeCodec(jsonrpc.NewServerCodec(conn))
    }
}

服务端接收1个connection,然后启动1个goroutine处理该连接上的request:

conn, err := listener.AcceptTCP()
go server.ServeCodec(jsonrpc.NewServerCodec(conn))

接收TCP连接时,先配置TCP为keepalive长连接,然后再配置keepalive参数:

func (ln *TCPListener) accept() (*TCPConn, error) {
    fd, err := ln.fd.accept()
    if err != nil {
        return nil, err
    }
    tc := newTCPConn(fd)
    if ln.lc.KeepAlive >= 0 {
        setKeepAlive(fd, true)        //启用tcp keepalive
        ka := ln.lc.KeepAlive
        if ln.lc.KeepAlive == 0 {
            ka = defaultTCPKeepAlive    //默认keepalive时间=15s
        }
        setKeepAlivePeriod(fd, ka)
    }
    return tc, nil
}

启用TCP keepalive:

//配置Keepalive标志
func setKeepAlive(fd *netFD, keepalive bool) error {
    err := fd.pfd.SetsockoptInt(syscall.SOL_SOCKET, syscall.SO_KEEPALIVE, boolint(keepalive))
    runtime.KeepAlive(fd)
    return wrapSyscallError("setsockopt", err)
}

配置TCP keepalive的时间参数:

  • syscall.TCP_KEEPIDLE: tcp_keepalive_time参数,配置为15s;
  • syscall.TCP_KEEPINTVL: tcp_keepalive_intvl参数,配置为15s;
  • tcp_keepalive_probes使用系统配置:2;

总结下来,server在连接15s没有数据后,发起探测,间隔15s发起一次探测,探测2次后不再活跃就kill连接,故一个空闲连接要等:15+15*2=45s后被kill。

func setKeepAlivePeriod(fd *netFD, d time.Duration) error {
    // The kernel expects seconds so round to next highest second.
    secs := int(roundDurationUp(d, time.Second))
    if err := fd.pfd.SetsockoptInt(syscall.IPPROTO_TCP, syscall.TCP_KEEPINTVL, secs); err != nil {
        return wrapSyscallError("setsockopt", err)
    }
    err := fd.pfd.SetsockoptInt(syscall.IPPROTO_TCP, syscall.TCP_KEEPIDLE, secs)
    runtime.KeepAlive(fd)
    return wrapSyscallError("setsockopt", err)
}

syscall中的调用参数:

//其中:
TCP_KEEPIDLE --> /proc/sys/net/ipv4/tcp_keepalive_time
TCP_KEEPINTVL --> /proc/sys/net/ipv4/tcp_keepalive_intvl
TCP_KEEPCNT --> /proc/sys/net/ipv4/tcp_keepalive_probes

参考

1.https://zhuanlan.zhihu.com/p/...
2.https://tldp.org/HOWTO/TCP-Ke...

阅读 731
10 声望
5 粉丝
0 条评论
10 声望
5 粉丝
文章目录
宣传栏