LLSM——基于RK3588的低延迟低带宽流媒体传输模块

随着物联网和人工智能的快速发展，实时视频传输在嵌入式系统中变得越来越重要。无论是智能摄像头、无人机还是工业监控设备，都需要高效、低延迟的流媒体传输解决方案。
慧视推出的LLSM低延迟低带宽流媒体传输模块，就能够实现在500K带宽环境下进行稳定的流媒体传输，且延迟在50ms左右（不含数据链）。

该结果基于我们团队完整而周密的延迟测试！
目前大多数流媒体视频典型的传输链路如下：摄像头成像输出 -> 流媒体传输模块处理 -> 拉流端显示
于是我们从这三个方面入手。

测试设备如下：

采集端：SDI相机，分辨率 1080p@60HZ

处理端：Rockchip RK3588，自带硬件编解码器

拉流端:

CPU：Intel Xeon E5-2650 v2 @ 2.6GHZ

GPU: Nvidia GeForce RTX 2060

显示器：2k@120HZ显示器，支持 PiP（可同时接收两个输入源，并以画中画的方式显示）

网路环境：本地局域网

成像延时测试测试目的：在同分辨率同帧率的条件下，对比不同相机的成像延时。
测试步骤：

1. 显示器同时接入两个输入源，并开启画中画模式。
2. 一个输入源接电脑输出
3. 一个输入源接相机，相机通过SDI转HDMI转换器接入（该转化器延时约为10ms）。
4. 在电脑上运行高帧率秒表程序，相机对准秒表程序。
5. 使用高帧率相机对屏幕进行拍照，照片中两个秒表的差值即为相机的成像延时。

测试结果：厂家一相机测试结果如图，减去转换器延时，相机延时为23ms。

厂家二相机测试结果如图，减去转换器延时，相机延时为61ms。


不同协议下的整体延时测试测试目的：在整体链路相同的条件下，对比使用不同协议时，整个链路的整体延时。
测试步骤：

1. 使用延时为 23ms 的相机，接入 RK3588 流媒体模块。
2. 在电脑上运行高帧率秒表程序，相机对准秒表程序。
3. 在电脑上运行专用拉流软件，进行拉流显示。
4. 对整个屏幕进行高帧率录屏。
5. 使用 vlc 按帧查看视频，视频中两个秒表的差值即为整体延时。
6. 更换 RK3588 流媒体模块的流媒体协议，重复上述步骤。

测试结果：首先确认录制的视频确实为120Hz！

使用 rtsp 协议的整体延时为100ms。

使用 rtmp 协议的整体延时为108ms。

使用自定义协议的整体延时为60ms。


拉流端延时测试测试目的：在整体链路相同的条件下，对比使用不同拉流软件时，整个链路的整体延时。
测试步骤：

1. 与上述不同协议下的整体延时测试的测试步骤相同。
2. 流媒体协议固定为 rtsp，使用不同的拉流软件。

测试结果：使用专用拉流软件，延时为100ms。

使用 vlc 进行拉流播放，延时为192ms。

大部分流媒体视频传输都有低带宽高画质的需求。常见的流媒体协议（rtsp，rtmp）传输的都是 H264/H265 码流，其传输时需要的带宽与编码后的码流大小相关。
于是我们通过设置不同码率，来对比成像画质，且观察带宽波动。

RTSP 2M 码率1080p@60HZ 的视频流，使用rtsp协议，编码格式为 H264，并设置为 2M 码率下的效果以及网络带宽使用如下图：

通过上图可以发现：图片有些部分已经模糊了，码率再低一点就没法看了码率上下波动较大

自定义协议 0.5M 码率1080p@60HZ 的视频流，使用自定义协议，并设置为 0.5M 码率下的效果以及网络带宽使用如下图：

通过上图可以发现：图片基本清晰可看码率上下波动小，基本稳定

FAQ

• 如何减少流媒体视频传输的延时：

1. 使用成像延时低的相机。
2. 使用性能强劲的CPU以及ISP处理能力强的MCU。
3. 使用低延迟流媒体协议，甚至私有协议。
4. 使用性能较好的硬件编解码器。
5. 使用专用拉流软件。
6. 使用优良的网络环境。
7. 使用高刷新屏幕，屏幕刷新率至少为视频帧率两倍。

• 如何减少流媒体视频传输的带宽：

1. 使用压缩率高的编码标准（如H265），甚至私有协议。
2. 将视频缩小后再进行编码传输。