当SRS遇到K8s:如何构建海量推流源站?
Photo by Oscar Ivan Esquivel Arteaga on Unsplash
本文来自流媒体直播集群SRS的官方wiki(https://github.com/ossrs/srs/wiki/v4_CN_K8s),由SRS的创始作者杨成立授权发布。
文 / 杨成立
本章描述了基于K8s,如何构建Origin Cluster支持超多推流场景。
Origin Cluster通过配置其他源站的信息,在本源站没有流时查询到流的位置,通过RTMP302定向到指定源站,具体原理可以参考#464。主要应用场景如下:
源站灾备:即使流比较少,也可以用两个源站,这样可以将流分散到不同的源站,避免源站出现问题时影响所有的流。
海量推流:单源站可以支持1000到3000路流,高码率的流支持的路数更少,有DVR和HLS时支持的路更少,源站集群有多个源站同时接收推流,可以支持10k~100k推流,参考规格。
复杂源站业务:源站除了支持推流和拉流,还有重要的功能是DVR、转码、转HLS,DVR和HLS涉及磁盘,转码涉及CPU,都是容易发生瓶颈的资源依赖,源站集群扩展能力更强。
在这个场景下,对比K8s和传统使用方式的差异:
对比 |
ECS |
K8s |
说明 |
申请ECS |
手动 |
自动 |
部署时,ECS需要手动申请,K8s自动申请 |
安装包 |
脚本 |
镜像 |
Docker方式更优,版本管理,可Cache |
看门狗 |
手动 |
自动 |
SRS异常退出由看门狗重新拉起,非K8s需要手动安装, |
更换ECS |
手动 |
自动 |
ECS更换时,非K8s需要手动申请,修改SLB,安装服务,K8s自动迁移服务,更新SLB配置监听和保活等 |
配置 |
文件 |
Volume |
ECS需要手动管理配置;K8s配置在ConfigMap,通过Volume挂载为配置文件,扩容时源站手动更新自动推送,边缘扩容自动更新 |
扩容 |
手动 |
自动 |
需要新开进程时,ECS需要申请部署和配置,K8s只需要修改Replicas数目即可(也可自动扩容) |
发现 |
手动 |
自动 |
Origin变更IP时,ECS需要手动修改配置,K8s在迁移源站Pod时会保持,或自动更新 |
SLB |
手动 |
自动 |
新增Origin时,ECS需要手动安装和更新配置,K8s自动安装,手动更新但自动推送配置 |
存储 |
手动 |
自动 |
扩容存储时,ECS需要手动安装和更新,K8s会自动更新,不影响业务 |
Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node,需要创建依赖的PV(Persistent Volume)持久化卷,可购买NAS例如:
驱动类型(PV driver):alicloud/nas
挂载点(PV server),可在控制台创建、查看和复制:1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
NFS版本(PV vers):3
在NAS基础上可以创建PV,以及PVC:
pv-nas,从NAS存储创建的PV,支持多写和多读,Pod不使用存储后会回收,也就是删除这些数据。
pvc-nas,SRS和Nginx源站使用的PVC,具有读写权限。读取SRS的静态文件和HLS并分发。
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-nas
labels:
pv: nfs-pv
spec:
capacity:
storage: 100Gi
storageClassName: nas
accessModes:
-ReadWriteMany
-ReadOnlyMany
persistentVolumeReclaimPolicy: Retain
flexVolume:
driver: "alicloud/nas"
options:
server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"
path: "/k8s"
vers: "3"
options: "nolock,tcp,noresvport"
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-nas
spec:
accessModes:
-ReadWriteMany
storageClassName: nas
resources:
requests:
storage: 100Gi
selector:
matchLabels:
pv: nfs-pv
EOF
Note:请将上面的挂载点(PV server)替换成你的。
Step 2: 创建SRS源站集群和Nginx源站应用和服务。
srs-origin-config: 创建一个配置k8s ConfigMap,存储了SRS Origin Server使用的配置文件。
socs: 创建一个Headless服务k8s service,基于Headless Service提供Origin服务,每个Origin都有自己的服务地址,例如srs-origin-0.socs,供内部Edge Server调用。
srs-origin: 创建一个有状态应用k8s StatefulSet,运行SRS Origin Cluster,HLS写入共享存储PV。
nginx-origin-deploy: 创建一个无状态应用k8s deployment,运行Nginx,将SRS静态文件写入PV,从共享存储PV读取HLS和静态文件。
srs-http-service: 创建一个服务k8s service,基于SLB提供HTTP服务,Nginx对外提供HLS服务。
srs-api-service: 创建一个服务k8s service,基于SLB提供HTTP服务,SRS第一个源站提供API服务,标签为statefulset.kubernetes.io/pod-name: srs-origin-0。
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
name: srs-origin-config
data:
srs.conf: |-
listen 1935;
max_connections 1000;
daemon off;
http_api {
enabled on;
listen 1985;
}
http_server {
enabled on;
listen 8080;
}
vhost __defaultVhost__ {
cluster {
origin_cluster on;
coworkers srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;
}
http_remux {
enabled on;
}
hls {
enabled on;
}
}
---
apiVersion: v1
kind: Service
metadata:
name: socs
spec:
clusterIP: None
selector:
app: srs-origin
ports:
-name: socs-1935-1935
port: 1935
protocol: TCP
targetPort: 1935
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: srs-origin
labels:
app: srs-origin
spec:
serviceName: "socs"
replicas: 3
selector:
matchLabels:
app: srs-origin
template:
metadata:
labels:
app: srs-origin
spec:
volumes:
- name: cache-volume
persistentVolumeClaim:
claimName: pvc-nas
- name: config-volume
configMap:
name: srs-origin-config
containers:
- name: srs
image: ossrs/srs:3
imagePullPolicy: IfNotPresent
ports:
- containerPort: 1935
- containerPort: 1985
- containerPort: 8080
volumeMounts:
- name: cache-volume
mountPath: /usr/local/srs/objs/nginx/html
readOnly: false
- name: config-volume
mountPath: /usr/local/srs/conf
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-origin-deploy
labels:
app: nginx-origin
spec:
replicas: 1
selector:
matchLabels:
app: nginx-origin
template:
metadata:
labels:
app: nginx-origin
spec:
volumes:
- name: cache-volume
persistentVolumeClaim:
claimName: pvc-nas
containers:
- name: nginx
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
volumeMounts:
- name: cache-volume
mountPath: /usr/share/nginx/html
readOnly: true
- name: srs-cp-files
image: ossrs/srs:3
imagePullPolicy: IfNotPresent
volumeMounts:
- name: cache-volume
mountPath: /tmp/html
readOnly: false
command: ["/bin/sh"]
args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"]
---
apiVersion: v1
kind: Service
metadata:
name: srs-http-service
spec:
type: LoadBalancer
selector:
app: nginx-origin
ports:
-name: nginx-origin-service-80-80
port: 80
protocol: TCP
targetPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: srs-api-service
spec:
type: LoadBalancer
selector:
statefulset.kubernetes.io/pod-name: srs-origin-0
ports:
-name: srs-api-service-1985-1985
port: 1985
protocol: TCP
targetPort:1985
EOF
Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2,则会生成两个源站srs-origin-0.socs和srs-origin-1.socs,若新增了源站比如Replicas为3,则需要在配置中加上srs-origin-2.socs。
Remark:我们启动了一个srs-cp-files的container,拷贝SRS默认的文件,参考#1603.
Note:Origin Server在集群内部提供流媒体源站服务,内部域名为srs-origin-0.socs和srs-origin-1.socs,EdgeServer会通过该域名连接到OriginServer。
Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片,对外提供HLS服务。
Note:这里我们选择ACK自动创建SLB和EIP,也可以手动指定SLB,参考指定购买的SLB和EIP。
Step 3: 创建SRS边缘配置、应用和服务。
srs-edge-config: 创建一个配置k8s ConfigMap,存储了SRS Edge Server使用的配置文件。
srs-edge-deploy: 创建一个无状态应用k8s deployment,运行多个SRS Edge Server。
srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
name: srs-edge-config
data:
srs.conf: |-
listen 1935;
max_connections 1000;
daemon off;
http_api {
enabled on;
listen 1985;
}
http_server {
enabled on;
listen 8080;
}
vhost __defaultVhost__ {
cluster {
mode remote;
origin srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;
}
http_remux {
enabled on;
}
}
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: srs-edge-deploy
labels:
app: srs-edge
spec:
replicas: 4
selector:
matchLabels:
app: srs-edge
template:
metadata:
labels:
app: srs-edge
spec:
volumes:
- name: config-volume
configMap:
name: srs-edge-config
containers:
- name: srs
image: ossrs/srs:3
imagePullPolicy: IfNotPresent
ports:
- containerPort: 1935
- containerPort: 1985
- containerPort: 8080
volumeMounts:
- name: config-volume
mountPath: /usr/local/srs/conf
---
apiVersion: v1
kind: Service
metadata:
name: srs-edge-service
spec:
type: LoadBalancer
selector:
app: srs-edge
ports:
-name: srs-edge-service-1935-1935
port: 1935
protocol: TCP
targetPort: 1935
-name: srs-edge-service-8080-8080
port: 8080
protocol: TCP
targetPort: 8080
EOF
Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2,则会生成两个源站srs-origin-0.socs和srs-origin-1.socs,若新增了源站比如Replicas为3,则需要在配置中加上srs-origin-2.socs。
Note:Edge Server的配置中,通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等,连接到OriginServer。
Note:这里我们选择ACK自动创建SLB和EIP,也可以手动指定SLB,参考指定购买的SLB和EIP。
Step 4: 大功告成。你可以推拉流了,其中HLS流可以从Nginx(80)播放,RTMP和HTTP-FLV从SRS播放:
Publish RTMP to rtmp://28.170.32.118/live/livestream or to origin or to edge.
Play RTMP from rtmp://28.170.32.118/live/livestream
Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
Play HLS from http://28.170.32.118/live/livestream.m3u8
Note:请将上面的EIP换成你自己的,可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。
Note:如果是自动创建SLB和EIP,那么HLS和RTMP/HTTP-FLV的IP是不一样的,你可以选择手动指定SLB,这两个服务可以用同一个SLB,参考指定购买的SLB和EIP。
这里我们选择的是有状态集群方式,也可以选择以无状态应用(Deployment)方式部署源站,区别在于每个源站都需要创建一个Deployment和Service,参考源站集群部署方式,例如:
第0个源站,Deployment命名为srs-origin-0-deploy,ClusterIP服务命名为srs-origin-0。
第1个源站,Deployment命名为srs-origin-1-deploy,ClusterIP服务命名为srs-origin-1。
第2个源站,Deployment命名为srs-origin-2-deploy,ClusterIP服务命名为srs-origin-2。
源站配置改成coworkers srs-origin-0 srs-origin-1 srs-origin-2;。
边缘配置改成origin srs-origin-0 srs-origin-1 srs-origin-2;。
LiveVideoStackCon 2020
上海/北京/旧金山 讲师招募
2020年LiveVideoStackCon将持续迭代,LiveVideoStackCon将分别在上海(6月13-14日),北京(9月11-12日)和旧金山(11月)举行。欢迎将你的技术实践、踩坑与填坑经历、技术与商业创业的思考分享出来,独乐不如众乐。请将个人资料和话题信息邮件到 [email protected] 或点击【阅读原文】了解成为LiveVideoStackCon讲师的权益与义务,我们会在48小时内回复。