江西广播电视台5G+XR新技术赋能全国两会报道,人大代表异地同屏云...
特约芑题
[通西広播电麵台5G+X R新技术赋能全国两会报道,
^_人大代表异地同屏“@方谈”
江西广播电视台刘琼郑锋
一、 引言
每年全国两会报道,都是新闻大考。受疫情影响,江西广 播电视台随团人员仅有5名。因此,江西广播电视台融媒体报 道团队坚持“前后方联动、内外宣协同、新技术赋能、全媒体 融合”思路,在北京和南昌分别设立智能虚拟演播室,广泛应 用5G、XR、WebRTC等新技术,突破空间距离,实现异地同 屏面对面“云访谈”。
二、 总体规划
全国两会已经成为了新技术和新产品演练应用的大平台,笔者团队通过创建虚拟场景打造出极具真实感的“云访谈”演 播厅,配合W ebRTC实时通讯技术,利用5G网络大带宽、低延时特性进行智能化高精度抠像,再通过X R技术将远隔千 里的现场主持人与人大代表融入场景,浑然一体、自然生动。将与真人
等比例大小的人大代表“空降”云访谈虚拟演播厅,与主持人“坐”到同一张桌前,把身处两地的代表和主持人,呈现在一个虚拟演播室内,从而打破物理空间距离,实现"异地同屏”效果。通过新技术、
新装备应用,电脑屏、手机屏、
电视屏联动,打破空间限制,
让远距离的"多视窗隔空对
话变成“面对面"的交流,
使节目的效果更好、人物交
流更加真实。
三、 技术架构谷雨是几月几日?
创新,是重大主题宣传
中永恒的命题。在2021全国
两会宣传中,如何充分利用5G技术,实现大带宽、低延时的高清视频传输。如何通过XR
技术实现智能高精度的实时抠像与场景融合都是重点需要解决
的技术难题。
传统的流媒体传输协议有RTMP、H LS等,但随着5G技关于母爱的诗句
术的迅速发展,RTMP、H LS等协议的延迟问题越发凸显,5G
的低延时特性无法体现。同时,长达两至六秒的延时也无法满军婚可以离婚吗
足“云访谈”实时沟通交流的节目需求。
在流媒体传输协议上团队选择了 WebRTC协议,WebRTC
是一个由Google发起的实时通讯解决方案,其中包含视频音
频采集,编解码,数据传输,音视频展示等功能.W ebRTC自
身最大的优势就是,低延时、流量少、性能好。
1、 低延时:目前流媒体使用场景大多基于RTMP、HLS 的方式,在不考虑网络延时的情况下都会产生秒级延时,但是 WebRTC实时通讯在不考虑网络链路的情况下,延时可降到
100-200毫秒左右;
2、 流量少:RTM P或者H LS主要基于TCP协议传输,WebRTC是基于UDP协议的传输,UDP协议的包头小。TCP
为了保证传输质量,因此会
产生很多A C K数据包,在网
络不好的情况下会产生很多
重传包,而WebRTC传输是
基于RTP和RTCP,重传策
略是基于NACK完成;
3、性能好:TCP传输会
涉及到拥塞算法、会话保持
等相关的逻辑,在整体性能
上会比UDP稍差一些。
X R即扩展现实技术,是
指通过计算机技术和可穿戴
两会全媒体报道是
设备产生的一个真实与虚拟组合的、可人机交互的环境。随 着国内5G建设的不断深入,5G+X R是未来交互的终极形态,将会完全改变目前的工作方式、生活方式和社交方式。两会"云 访谈”就是团队首次尝试运用5G+X R技术,通过WebRTC 实时通讯方式,结合高精度智能抠像、真三维虚拟演播室等 创新技术,在距离与空间上,在虚拟与现实中,顺利实现了 异地实时视频连线、两地无缝同屏互动,进行了跨越千里的 隔空联动。
四、技术实现
"云访谈”突破空间距离,实现跨越千里的异地同屏,是 节目制作与新技术运用的双重创新,5G+X R为今后广播电视 的节目样态提供了广阔空间。但是,在节目制作过程中,团队 也碰到了很多技术难题,通过大家集思广义,不分日夜的测试 与实践,最终把所有难题全部踩在脚下,顺利推出"云访谈" 节目。
--env CANDIDATE=$(ifconfig enO inet|grep'inet'|awk
'{print$2}') -p8000:8000/udp\
registry-hangzhou.aliyuncs/ossrs/srs:v4.0.76
# Or CentOS
docker run—rm-p1935:1935 -p1985:1985 -p
8080:8080 \
祝老师元旦快乐的祝福语简短
--e n v CANDIDATE=$(ifconfig e th0|grep'inet'|awk
'{print S2}')-p8000:8000/udp\
registry-hangzhou.aliyuncs/ossrs/srs:v4.0.76
2 )FFmpeg推流
docker run--r m- netw o rk= host re g is try,cn- hangzhou.aliyuncs/ossrs/srs:encoder\
ffmpeg-re-i ./doc/source.200kbps.768x320.flv-c copy
\-f flv-y rtmp://localhost/live/livestream
3、5G+XR与高精度智能抠像、真三维虚拟演播室的融合
特约巨题
节约用水演讲稿1、 现场音、视频收录问题
“云访谈”节目在技术实现上,需要考虑很多技术细节问 题,所谓细节决定成败。例如摄像机、无线话筒收录的音、视 频是不能直接进入录制系统,而是要通过采集卡收录,进入 W ebRTC流媒体平台,以实现现场主持人与北京演播室的远程沟通交流。
而且,整个节目不但要录制现场的音、视频,还要录制北 京演播室的画面与声咅,如何确保远程画面录制的流畅,声音 连贯清晰不产生回声,这就对网络环境、北京演播室是否处于 安静的录制环境、远程录制人大代表是否配带了耳机等技术细 节提出了更高的要求。
2、 搭建大带宽、低延时高清视频传输平台
在WebRTC流媒体传输平台的选择上,团队进行了多方 比较,最终选择了在G itHub开源网站流媒体视频排行榜位列 第一的国产流媒体服务平台SRS。
SRS定位是运营级的互联网直播服务器集,追求更好 的概念完整性和最简单实现的代码。SRS提供了丰富的接入 方案将WebRTC接入SRS,包括推送WebRTC到SRS、推 送RTSP/UDP/FLV到SRS、拉取流到SRS。SRS还支持将接入的RTMP流进行各种变换,譬如将RTMP流转码、流截 图、转发给其他服务器、转封装成HTTP-FLV流、转封装成 HLS、转封装成HDS、支持SRT流、录制成FLV/MP4。
此 外,SRS还提供丰富的应用接口,包括HTTP回调、安全策 略 Security、HTTP API 接口、RTMP测速。
SRS支持docker容器,所以使用非常简单,零编译,两 行命令,就可以搭建全链路直播和RTC环境。
1)启动SRS
# FormacOS
docker run--r m-p1935:1935 -p1985:1985 -p 8080:8080 \使用
随着5G技术的不断发展与完善,探索面向受众的低延时、高带宽的节目和场景,已经成为电视媒体融媒体发展的重点工 作。在诸多融媒体形态中,X R有望成为电视节目样态大规模 应用的最佳展示和发展趋势,将成为广电5G时代的典型应用 之一0
在X R技术应用融合平台上,团队采用了 SoBey公司的 LiveHand系统平台,该平台集多路音视频信号切换、虚拟现 实演播室、图文包装、字幕机、DDR播出、调音台等功能为一体。在节目制作中,北京演播室通过5G网络传回来的视频流,调 用本地GPU资源对画面进行渲染,最后将结果转换成SD I信 号输出到系统平台。
系统平台获取渲染后的音频、视频,并利用通用音、视频 编码器(音频编码支持AAC,视频编码支持H.264和H.265 )将其压缩成通用格式,然后使用系统平台的智能化高精度抠 像功能,通过一键抠像方式可以很方便的把人物完美呈现,同时还可对抠像的人物进行实时颜修正及任意场景裁切和大 小缩放。
最后利用虚拟现实演播室功能,通过X R技术将抠像后的 人物实时导入到预先创建好的“云访谈”演播室中,北京演播 室的人大代表与主持人就完美的"坐”到同_张桌前,从而实 现了跨越千里的面对面云访谈。
4、远程视频备份技术
网络是不可控的,但代表的时间是有限的,要在有限的时 间内,万无一失的完成整个节目的录制工作,为此团队采用了 远程视频备份技术。
在节目录制开始,要求北京演播室利用5G聚合网络设备,同时传输两路采访iS面。其中一路采用WebRTC方式传输,侧 重于网络传输的低延时特性,以满足‘‘云访谈"节目主持人与北 京人大代表实时面对面访谈的节目制作需求。(上接第07页)
特约自题
传输稳定。作为每天两会报道的排头兵预告者,必须保证连线
2022放假安排的稳定性。实践也证明FLYWAY卫星连线的稳定性。
四、新兴技术方兴未艾
随着移动互联网的发展,信息技术取得了巨大的进步。科
技曰新月异给广电行业也带了巨大的变革。各种新兴技术快速
落地,运用到广电行业中来。这次两会报道,项目组采用了虚
拟化技术来联通内外网,运用云连线系统来进行代表嘉宾和演
播室的互动。
1、 虚拟化技术的应用
两会领导都在北京前方报道团,需要对台内重点新闻的 新闻版面和新闻内容进行把关审核。项目组使用了 CITRIX 系统将内部制作网的粗编系统MEDIA CENTRAL和文稿系 统iN e w s进行了应用虚拟化,可以从北京工作间通过办公网 电脑使用CITRIX系统,安全的登录内部制作网的文稿应用iNews,
进行新闻串联单编排审核确认和文稿内容审核,登录 视频编辑系统MEDIA CENTRAL进行视频内容审核。
2、 云连线系统的应用
受到疫情防控的要求,两会的委员和代表们的驻地都无法 进去采访,委员代表们也没有办法走进北京的直播间与上海演 播室的主持人互动。项目组使用了 "云连线系统”委员代表们 通过手机或电脑直接和上海演播室的主持人互动,就百姓关心 的话题和委员的提案等互动直播。云连线系统使用低延时技术,委员代表们不仅能实时的听到演播室主持人的讲话和其他嘉宾 的发言,还能够看到演播室直播的回传信号,了解直播的进程。
图5云连线系统
3、5G技术的应用
5G具有低延时高带宽的优点,给视音频传输技术带来了 极大的飞跃。两会期间,项目组给采访记者和摄像都配置了 TVU、LIVEU等5G背包,记者可以直接在外场随时随地的出 镜连线直播,借助5G和多卡聚合可以提供广播级的画质传输。同时项目组也给上海的代表委员们提供手机APP ,可以让代 表委员们随时随地的开启直播,畅谈两会。5G聚合背包还能 够作为w ifi热点提供稳定带宽的上网接入,记者可以用来传输 大量的视频。
五、总结
"工欲善其事,必先利其器’’,一年一度的全国两会是全 国人民参政议政的大事,也是媒体展示各种前沿技术的舞台。只有不断创新与时俱进,持续完善和丰富各种融媒体报道的解 决方案,以技术创新提高传播效率,实现媒体深度融合。_
(上接第09页)另外一路回传画面对延时要求不高,可以放宽至两至六秒延时,但对画质和 稳定性要求相对较高。当节目录制因低延时造成画面受影响时,使用北京回传的备份画面,通过虚拟现实演播室技术重新渲染生成稳定的节目制作画面,这样做到了_次录制,可以无数 次对节目画面质量进行修正,以求达到最好的观看效果。
五、总结
全国两会不仅是关乎国计民生的一次重大会议,同时也是一场有关科技展示的盛大秀场。江西广播电视台技术团队以技术创新为引领,助力电视、广播、新媒体等各大平台个性化生产、可视化呈现、互动化传播,全景报道两会盛况。团队将始终以"自主研发_’为制胜法宝,将“技 术创新”发挥到极致,采用新技术手段,不断突破传统媒体发展边界,实现媒体的全面转型,全力以赴不断攀登技术巅峰。■

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。