当SRS遇到K8s：快速构建高并发直播集群

Photo by ÁLVARO MENDOZA on Unsplash

本文来自流媒体直播集群SRS的官方wiki（https://github.com/ossrs/srs/..._CN_K8s），由SRS的创始作者杨成立授权发布。

文 / 杨成立

本章描述了如何基于K8s构建EdgeCluster实现高并发流媒体播放。

EdgeCluster实现了合并回源，对于某一路流，不管有多少客户端播放，EdgeServer都只会从OriginServer取一路流，这样可以通过扩展EdgeCluster来增加支持的播放能力，也就是CDN网络具备的重要能力：高并发。

Note: Edge Cluster根据客户端播放的协议不同，可以分为RTMP Edge Cluster或HTTP-FLV Edge Cluster，详细请参考相关Wiki。

对于自建源站，没有那么多播放量，为何不建议使用SRS单源站直接提供服务，而要用EdgeCluster呢？主要场景分析如下：

• 防止Origin过载，即使推流非常少而且播放的流也不多，比如自建源站后使用CDN回源，在多家CDN回源时，也可能一个CDN一条流会有多个回源连接。使用Edge能保护Origin不因为回源造成Origin问题，最多就是某些Edge被回源打挂。
• 可以使用多个Edge Cluster（只需要再加srs-edge-service就可以），对外用不同的SLB暴露，可以针对每个SLB限流，防止CDN之间互相干扰。这样能保证某些CDN是可用的，而不是Origin挂了后所有CDN都不可用。
• 分离Origin关键业务，将下行流媒体分发业务交给Edge Cluster，Origin可以做切片、DVR、鉴权等关键业务，避免业务之间互相干扰。

在这个场景下，对比K8s和传统使用方式的差异：

Step1:创建一个无状态应用k8s deployment，运行SRSOrigin Server和Nginx，HLS写入共享Volume：

cat <<EOF | kubectl apply -f -apiVersion: v1kind: Servicemetadata:  name: srs-internal-origin-servicespec:  type: ClusterIP  selector:    app: srs-origin  ports:  - name: srs-internal-origin-service-1935-1935    port: 1935    protocol: TCP    targetPort: 1935EOF

Step2:创建一个服务k8s service，基于ClusterIP提供Origin服务，供EdgeServer调用：

cat <<EOF | kubectl apply -f -apiVersion: v1kind: Servicemetadata:  name: srs-internal-origin-servicespec:  type: ClusterIP  selector:    app: srs-origin  ports:  - name: srs-internal-origin-service-1935-1935    port: 1935    protocol: TCP    targetPort: 1935EOF

Note: Origin Server在集群内部提供流媒体源站服务，内部域名为srs-internal-origin-service，EdgeServer会通过该域名连接到OriginServer。

Step3:创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务：

cat <<EOF | kubectl apply -f -apiVersion: v1kind: Servicemetadata:  name: srs-http-servicespec:  type: LoadBalancer  selector:    app: srs-origin  ports:  - name: srs-http-service-80-80    port: 80    protocol: TCP    targetPort: 80EOF

Note: Nginx通过SharedVolume读取SRSOrigin生成的切片，对外提供HLS服务。

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step4:创建一个配置k8s ConfigMap，存储了SRSEdge Server使用的配置文件：

cat <<EOF | kubectl apply -f -apiVersion: v1kind: ConfigMapmetadata:  name: srs-edge-configdata:  srs.conf: |-    listen              1935;    max_connections     1000;    daemon              off;    http_api {        enabled         on;        listen          1985;    }    http_server {        enabled         on;        listen          8080;    }    vhost __defaultVhost__ {        cluster {            mode            remote;            origin          srs-internal-origin-service;        }        http_remux {            enabled     on;        }    }EOF

Note: Edge Server的配置中，通过Service注册的内部域名srs-internal-origin-service，连接到OriginServer。

Step5:创建一个无状态应用k8s deployment，运行多个SRSEdge Server：

cat <<EOF | kubectl apply -f -apiVersion: apps/v1kind: Deploymentmetadata:  name: srs-edge-deployment  labels:    app: srs-edgespec:  replicas: 3  selector:    matchLabels:      app: srs-edge  template:    metadata:      labels:        app: srs-edge    spec:      volumes:      - name: config-volume        configMap:          name: srs-edge-config      containers:      - name: srs        image: ossrs/srs:3        imagePullPolicy: IfNotPresent        ports:        - containerPort: 1935        - containerPort: 1985        - containerPort: 8080        volumeMounts:        - name: config-volume          mountPath: /usr/local/srs/confEOF

Step6:创建一个服务k8s service，Edge Cluster基于SLB对外提供流媒体服务：

cat <<EOF | kubectl apply -f -apiVersion: v1kind: Servicemetadata:  name: srs-edge-servicespec:  type: LoadBalancer  selector:    app: srs-edge  ports:  - name: srs-edge-service-1935-1935    port: 1935    protocol: TCP    targetPort: 1935  - name: srs-edge-service-1985-1985    port: 1985    protocol: TCP    targetPort: 1985  - name: srs-edge-service-8080-8080    port: 8080    protocol: TCP    targetPort: 8080EOF

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step7:大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：

• Publish RTMP to rtmp://28.170.32.118/live/livestream
• Play RTMP from rtmp://28.170.32.118/live/livestream
• Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
• Play HLS from http://28.170.32.118/live/liv...

Note: 请将上面的EIP换成你自己的，可用命令kubectl get svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note: 如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。