—种面向深度学习的电视“云播大脑”智慧感知系统
行业专题I 高新视频技术
南京广播电视集团陈浩梅征宇
随着计算机IP 网络技术、软件工程技术及微电子芯片技 术工艺的不断迅猛发展,各行各业包括传媒产业已逐步开启人 工智能与机器学习时代。目前全国各大城市电视台都在大力引 进技术资金,开发下一代以智播技术为标志的广播电视新技术。 特别是在机器学习、深度学习、云计算、大数据等智能技术的 不断引领下,智慧感知与智慧认知的智慧广电行业将另辟蹊径, 呈现出从采集到编播监流程一系列更大的发展变革,加快电视 “云播大脑'’的融媒事业建设力度。
什么是深度学习
深度学习是近年来蓬勃兴起的机器智能学习研究方向的
一项重要领域。深度学习和机器学习均来自于人类对计算 机科学、人工智能、认知脑科学、认知心理学及认知神 经科学等方面的有益探索,它采取模拟人脑神经网络的 一些工作机制来运用于媒体表征的视频、音频和文字(语 法语义)。从某种意义上讲,笔者认为它也是计算机科学 数据结构领域中关于深度优先算法(DFS ,D epth -First - S e a rch )的一个变种。深度学习借助算法识别和发现低端特 征并加以综合,产生更为抽象的高端特征属性,来发现数据 识别的分布式规律。
深度学习因为接近计算机科学理论和离散数学图论理论故 必须引入计算机科学图论知识来作简要阐述。其工作原理是: 由一种输入到一种输出所引发的计算需借助流向图加以表达。 流向图中每个节点表征_种最基础的计算或一个计算值,计算 结果将应用到该节点所有子节点的值。可以设想某种计算集合, 在输入节点无父节点,在输出节点无子节点,并且该集合能被 许可应用在所有的节点和图架构中获得计算。然后定义此类流 向图由开始的输入至最后的输出最长路径长度,并把这种属性 称之为深度(Depth  )。如图1所示。
H w ^lX ) 输出展
包含ft个鼴层的深度学习棋坦
图1深度学习层次模型
二、电视播控平台现状
目前,很多传媒机构虽已建立"播控中央厨房”式的融媒平 台级播出信息中心,然而对由播控系统倒推的制播、传输、移动 新媒体方面的全台网组织架构、业务流程还不能与之完全匹配。 业务技术层面,传统媒体还停留在运用大量的广电专业核心设备、 调度矩阵、周边设备、SDI 视频线路、录像机等来维持现有系统 的运转,
般监控平台常常可能会漏掉重大或关键的播出异常事
件,而对冗余或无用的设备状态信息进行着反复的播报;监控监 测方面,如何更好地将现有数字系统转变成具有智慧感知的知识 认知系统,来第一时间识别故障或异常事件的发生或者日志隐患 的提取表达?在与节目□编辑需求对接方面,节目方常常会根据 新闻娱乐节目的最新研制、策划需要,需要技术方面能提供更加 灵活且丰富多彩的技术实现方式,而传统制播技术能力比较专业、 单一,无法完全满足相应功能需要等等。这些就需要引入媒体软 件工程、敏捷智能工程技术来进行节目生产流程的重组、节目知 识数据可视化的展现、节目基于OpenGL /OpenCV 在包装渲染 中的应用、节目异常图帧特征码的人工智慧侦测等等范畴,都是 传统媒体技术管理部门逐渐重视并需要解决的课题。
-3
6
高新视频技术I行业专题
三、 主流深度学习网络框架
1、TensorFlow
TensorFlow是一种端到端的开源软件库机器学习平台。TensorFlow是一种功能完整又灵活柔韧的数据生态系统,里面 包括各种库结构、工具以及社区资源,是帮助研发者开发各种 涉及神经感知、图像处理、语言分析等任务的机器学习平台。TensorFlow最初由谷歌公司开发,用于谷歌相关技术的研究 和开发,于2015年11月在开源Apache 2.0许可证下发布。Tensor意为张量的意思,在线性代数的概念就是多维数组(秩),张量就是深度学习的根基,它的核心思想就是一个数据容器。
TensorFlow是一种运用数据流图(DFG )进行数值计算 的开源软件框架库。D FG中的节点表征数值计算操作,DFG 中的边表征节点与节点在相互联系中的多维数组(张量)。这样就能使数据中心技术人员柔韧、轻量地部署在各服务器、PC机、移动终端的单核或多核中央处理器中,而无需重构源 代码,即实现了轻韧灵活的敏捷式平台架构设计。TensorFlow 是目前最流行的深度学习框架之一,其本质也是一套基于数据 流编程的符号数学系统。
2、Caffe
Caffe是一种快速特征嵌入的卷积神经网络框架结构,在 BSD认证之下实现开源,内核采用C++编码,附带Python 接□。它也是一种开源盛行、性能较高的深度学习框架平台。Caffe是一种模块化构架设计,可完成对新的数据结构、网络 层和损失函数进行轻量拓展。
四、“云播大脑”智慧感知系统应用
电视播控数据中心正致力于实现"云播大脑"计划,即努 力地将现实世界的专业设备物理资源几乎百分之百地映射至以 微服务架构为核心的软件虚拟化网络世界中去以便可监可控。且"云播大脑"将由过去被动式抢修型面向全播出智能系统的 预监、预(前)播、预防、预测等知识场景功能作迭代迁移。
鉴于传统播控中心在文件、信号及流程级故障等感知维度 上呈现的缺陷,以及系统复杂性故障中各种子故障因素对系 统的交互性冲刷影响,不易于感知故障数据的复杂性特征,不易于精准预测研判故障频次等传统方法干预困难的情状,可 引入以大数据挖掘为基础的以机器学习特别是基于深度学习、深度监督学习神经网络技术为标志的人工智能感知解决方案。通过深度监督学习前馈神经网络导入的多维数组(张量)流 Tenso「Flow/C affe等开源框架机器算法、辅以相关深度前馈监 测芯片,可实时感知和探测中心所有设备的软硬件海量图音文 数据集、运营日志数据集,经自我迭代、推理、训练后形成稳 定的故障学习统计模型、故障规则特征码识别、故障演进历史 规则知识库等智慧消息和知识图谱,可协助人工解决故障专家 知识库相似度推送、状态曰志大数据集语义分析及故障预测建 模,数
据中心功耗节能制冷分析、资产配置及成本预测等新常态下系统面临的各种难题。智慧感知系统专家知识库总体架构 如图2所示。主要体现在:
图2智慧感知专家知识库系统总体架构图
1、 建构非结构化分布式数据库系统
这是播控数据中心建构云上智慧弹性架构的基础中的基础,或者可以认为是由结构化数据库(SQL SERVER )向专家 知识库转变的根基。为什么这么说?就是要将所有的专业物理 设备、非结构化图像语音数据元数据信息、非专业设备、路由(跳 线)信息、IT (交换、存储、算力)信息、资产成本信息、地理 分布信息,总之将所有涉及播控的全方位资源信息以非结构化数 据库和数据仓库形式重新安排分布式存储和计算,设计有关图 灵测试项目,以更好地与深度监督学习系统进行良性对接。
2、 建立专家知识库系统
形成的播控大数据需借助数据挖掘算法、统计学、计算机 科学等交叉学科进行知识规则的数学模型建模,数据分类与聚 类、数据清洗、线性回归、关联规则、可视化分析,从而获得 推理知识,逐步建构播控专家知识库。
结束进程
首先,深度感知专家知识库可智能识别主、备图像的异步 播放差异,进行实时自动报警、研判和同步
化选择干预。再者,所有播出历史事件存储在业务存储池中,并学习中心运维工程师 的故障判断分析经验,将系统维修、维护、抢修经验转换成计算 机可识别的知识规则特征码,运用Python/TensorFlow的卷积神 经网络(CNN )算法,经知识推理、训练学习、知识语义表示、协同过滤后形成故障专家知识库决策分析系统,并将故障相似度 高的知识定点向专业人员推送,以解决故障问题评价矩阵的数据 稀疏性影响。在播出节目整备域方面,运用容器技术和基于马尔 可夫排队论阻塞模型算法对全素材迁移机制做智能负载均衡的 资源优化研究,对有特殊特征码的敏感图片运用卷积神经网络算 法进行智能图像模式识别,进_步提升系统安全性。
以此为基础,协同机构财务、资费、成本策略加强在智慧成 本投资算法策略的知识库研究。将基于循环神经网络(RNN )等 学习型算法引入故障分析预测领域,可解决一般计算机学习能力 弱,研判预测效率差的情况。在深度学习感知的故障特征码方面,建立单特征的时间演进与多特征关联的经典P etri网计算模型。
重阳节手抄报内容
舍视工超
TELEVISION ENGINEERING
行业专题I高新视频技术
3、 建立可视化知识图谱资管平台
运用能兼容AUTOCAD/VISIO的智能辅助设计系统,可将 有关专家知识库平台导出成专家知识图谱,实时编辑和监看中 心系统拓扑运行信息(节点/流程/信号/文件)、设备在线/下线状态信息,地理分布信息,图纸拼接信息,智能资产配置 信息,与人力资源绩效关联的成本核算信息,播出统计信息等,并以相关可视化图形展现。并能运用基于H5的手机/平板/电脑客户端APP (或小程序)远程登录和实时掌握业务进展、组网节点、信号质量、统计数据等资源可视化表达。
借助功能强大的专家知识库系统,佩戴拥有增强现实功能的 Cellphone AR软件或眼镜,对着中心任意设备或链路拍摄即可实时 查询出该设备网络的前后板透视图、在线路由(线号)透视、距离 尺寸度量、建设组网布局融洽度、故障断点位置、维修历史等相关 知识,为技术运维工程师快速发现和修复故障提供智力支持。
4、 建立中心智慧节能减排系统
运用深度学习中的增强学习算法来提升人工智能管控中心基 础设施的水平。将数据中心实时运行的基础设施数据反馈给增强 算法,系统经自我学习并确认哪一种制冷精密空调配置能耗消耗 最优。系统
也能聪明地将各类设施CPU/GPU等芯片级大耗能区 块进行精准计算,给机房能源成本的全面降低带来重大价值。
五、“云播大脑”技术要点
1、可编程非压缩视频流四选一智能静净切
IP数据包检测与倒换机制。具有可编程预置无压缩IP流 倒换优先级,1~ 4路输入IP流采用自动检测倒换机制,包 括报瞥的自动切换、手动切换和GPI控制倒换。
1 )同基带嵌入式SD丨传输,基于SMPTE S T2110标准 的基本流采用“Essence"方式传输,即能将:支持SMPTE 2110-20/IETF 4175的活动图像数据、支持SMPTE 2110- 30/AES-67 的音频数据(HANC)、支持 SMPTE 2110-40/IETF ANC 291的辅助元数据(VANC )进行拆离传输、音视频字幕 分别处理,最后在终端地址处统一汇集。“云播大脑智慧感知系统通过设置接收组播IP地址(端口号)从IP流交换机中 获取需要检测的无压缩IP信号,接收到的是经封装的一个个 数据包,数据包中包含网络协议信息和视咅频数据信息;
2 )在IP网链路内先根据SMPTE 2110-50 ( 2022-6 >标 准对丨P数据包格式进行IP解封装、前向纠错解包、修正数据 检验、文件串行化,以对基带信号处置后获取有关信号数据。此数据信息即为要检测的S D I数据;
3)"云播大脑”智慧感知系统再根据差分串行SMPTE 259M标准将S D I信号数据化,建立媒体数据段,依据SMPTE 2110建立数据块文件和FEC编码数据块,最终将这 两者数据块封装成IP包进行输出。自动控制方式下对1~ 4 路IP流有无进行自动检测,当智能专家知识库检测系统感知 到信号数据不符合标准的情形即出现(黑场、蓝底、静帧、噪声、静音、CRC、EDH等)包丢失时自动切换。若由虚机产生
的高一级别IP流产生数据损失或出错情形下,系统将智能地静
净切换到次一级别信号源进行播出;待系统经维修恢复后,系
统自动切换至最高优先级别的IP流进行播出。智能感知系统的
告警信息也可通过设置检测阀值进行过滤。除此,通过SMPTE 2016-1-2007标准对AFD嵌入信息进行查验,显示AFD类型;
4) ‘'云播大脑”智慧感知系统将告警信息发送到SDN集 控平台,由软件定义网络方式进行数据图形化可视化展现。
可编程非压缩视频流四选一智能静净切换原理如图3所示。
图3可编程非压缩视频流四选一智能静净切换原理图
新闻学就业方向>微博阅读
2、 微服务架构
微服务架构是一种软件架构,它是将广电各类专业设备或
服务软件化、模块化后,以专项的小型功能区域块为根基,采
用模块化方法组合成繁杂的大型应用软件,而各功能区域块采
3050显卡
用与程序语言无关的A P I集作交互通讯。微服务自身也拥有进
程处理,轻量化、全自动地部署,采用最小化容器的集中管控
方式,与相关服务开展HTTP A P I通讯。微服务架构设计与单
体式应用程序明显不一致,微服务中的每个服务都应该极力地
独立自主,并避免与其它服务产生瓜葛。就算在其它服务遭遇
错误的时候也不会受其影响。
3、 播控学习数据集的建立
在完成了电视播出主系统、备份系统对故障事件实现平稳
智能地切换模式后,下一步就是要对故障模型采集数据集了。
模型的输入部分是各种故障隐患或故障发生事件,输出就是人
们所期待的相关智能判断、切换处理。数据集的采集规模应该
尽可能地多多益善,并包括其中的任务特征,这样就可以培养
出精准的故障研判模型。若测试集精准率不能达到要求,就需
要对模型参数和数据集重新进行配置、修改,让模型重新多次
反复学习,直至满足故障研判的预期效果。
六、结语
随着国家广播电视总局关于“智慧广电的提出,以及中
央广播电视总台"AI+8K+5G”制播模式的正式推出,也是向
广大城市电视台吹响了智慧电视、融媒智播的号角,台网互动、
融媒智播的步伐也会不断提速。必须深刻认识到以云计算(虚wifi怎么用
拟化)、大数据、人工智能、机器学习为新一轮广电科学技术
在推动融媒智播战略中所起到的关键性作用,以及运用这些关
键性技术方能让传统广电焕发出新一代的技术生态生命力。_

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。