• 欢迎光临本网站,有人模仿我的站 注意:本站唯一域名:www cnit5 com(原创稿件投递)请联系:QQ442727852期待与您的合作!
  • 设为首页 设为首页 收藏 收藏本站
  • 首页
  • IT行业
  • IT新闻
  • IT资讯
  • 数码产品
  • IT人物
  • 科技资讯
  • IT财经
  • 手机资讯
  • 游戏新闻
  • 区块链
  • IT资讯网
    主页 > IT资讯 >
  • 解决这4个难题,IoT低功耗设备也能有高清视频通话

  • 发布时间:2019-03-12 14:22  来源:www cnit5 com 作者:IT行业资讯网
  • 4.09K
  • 解决这4个难题,IoT低功耗设备也能有高清视频通话

    如果有人跟你聊“实时音视频通话功能”,你会想起什么?视频聊天、在线课堂,还是朋友之间的游戏开黑?其实,还有一个复杂且巨大的领域,有着旺盛的“互动”需求,那就是 IoT 领域。

    不少大厂商都纷纷布局推出了相应产品,例如在去年由“能打电话的智能手表”变为“能视频的电话手表”的小天才手表;在今年2019 CES 上,多家厂商都推出了支持实时视频的智能门禁。

    总体来讲,希望集成实时音视频功能的低功耗智能设备有以下几类:

    ▪智能手表:“能打电话”已成很多儿童智能手表的标配,而“能视频通话”的智能手表已经纷纷出现在海内外市场上。

    ▪智能眼镜:基于实时音视频与后处理技术(如 AR、计算机视觉算法)可以实现多种场景

    ▪智能摄像头:安防监控、视频交互一直是智能摄像头的重要功能

    ▪机器人:家庭机器人及少数公共场所的机器人,需要实时音视频功能

    ▪智能门禁:通过实时音视频实现远程安防、通话

    低功耗设备上视频通话的难点

    事实上,利用WebRTC方案是可以在手机上实现实时音视频通话的,但如果将这套方案照搬到低功耗设备,则无法做到。这是由于低功耗智能设备在硬件、软件方面都与手机不同,所以对实时音视频通信的要求也有所不同,这导致了手机的方案无法直接拿来套用。

    以智能手表为例,如果要实现实时音视频,需要满足以下要求:

    1. 功耗要低

    很多低功耗智能设备的电池容量,以及可支持的功率有限。另一方面,很多智能设备采用的 CPU 性能有限,在进行音视频通话的同时,还要支持系统、常驻功能的运转。一般的解决方案,无法做到稍长时间的视频通话,最大的障碍就在于能耗。随着通话时长的积累,高负荷运转的设备会发热。所以低功耗十分必要。

    2. 实时音视频不可占用过多内存

    智能设备的内存有的高,有的低,要看是什么类型的设备。但智能手表这类产品的内存一般都不高。在这样的背景下,如果要在设备上进行实时音视频通话时,不能占用太多内存资源,否则会影响设备的正常使用。

    3. 跨平台、跨设备的通话支持

    智能设备并不像手机这样普及,所以当你在通过智能手表、智能眼镜与他人通话时,对方所使用的可能是手机或 Web 浏览器。所以还需要支持智能设备与其它平台的通话。

    4. 提供高音质高画质体验

    音视频通话的质量始终是关键,画面的卡顿、模糊,声音出现回声、噪声都是用户无法接受的。但是,一套音视频方案在别人的智能手表上跑通了的时候,并不意味着完全能用于你的设备。

    还是以 WebRTC 为例,它本身具备回声消除模块,但一个回声消除算法的设计实现与设备、系统状态紧密相关。 声音经过扬声器传导到麦克风,经过了多少路径就被处理多少次。不同的设备材质,甚至设备发热,都会导致声传导特性不一样,都会导致回声消除算法不一样。这是设备的差异带来的影响。

    另一方面,回声消除里有两大模块,自适应滤波和非线性处理。自适应滤波前置第一个模块就是延时搜索。延时估计要在一定范围内估计,就是要有一个预先设计的delay值,如果在一个很大的范围内搜索,会极大消耗CPU资源。而Android系统的线程调度设计存在特殊性,一旦资源抢占,会在Android底层buffer产生延时,可能会导致之前预设的delay值不准。而低功耗智能设备的系统存在很多细微差异,就更需要有针对性地优化算法了。

    所以,在低功耗智能设备上实现视频通话,并不是用一套通用的 demo,通过短短几步的配置、接口调用就能实现的。想要好的通话体验,都需要围绕你的设备进行调优。这也是难点之一。

    声网Agora低功耗智能设备场景方案

    而针对以上大部分问题,尤其是针对低功耗设备的硬件、软件系统的特点,声网对 Agora SDK 进行了多方面的优化,包括编码算法、降噪算法,帧率和分辨率的优化算法,推出了低功耗版本 Agora SDK ,支持低功耗智能设备与其它设备与平台进行视频通话。

    声网低功耗智能设备场景方案的特点:

    1. 跨平台实时语音通话

    声网Agora创建了基于UDP协议的软件定义实时网络SD-RTN™,并在全球部署的近200个数据中心。通过 Agora SD-RTN™虚拟通信网络,集成声网方案的低功耗设备,可以与 Web 浏览器、手机端进行实时的音视频通话。

    2. 低功耗、低内存占用

    占用的内存小,正常通话发热量小,可以保证用户之间的较长时间的正常通话,经测试在小天才智能手表上可进行15分钟的长时间视频通话。 

    3. 支持主流软硬件平台

    该方案适用于基于 ARM 架构、Android 系统平台的低功耗智能设备,只需要在集成后调优setVideoProfile、setAudioProfile参数即可正常通话。

    目前,声网智能设备低功耗 SDK 已经应用于多类智能硬件产品上,包括智能手表、智能眼镜、智能音箱、智能摄像头、机器人、智能门禁等 IoT 设备,被集成于小天才、亮亮视野、小米等多个品牌的产品中。

    有人模仿我们的网站请记住我们的唯一地址(www cnit5 com)为您提供以上文章内容。郑重声明:IT行业资讯网站刊登/转载此文出于传递更多信息之目的 ,并不意味着赞同其观点或论证其描述。本站不负责其真实性。
    上一篇:“人工智能技术创新应用赛项”省赛第一站(广东赛区)开幕式隆重举行
    下一篇:小米9正式暂停销售,道歉:由于库存不足
  • 图说天下
  • 映客上市首日高开高走大涨40% 总市值突破百亿港元 映客上市首日高开高走大涨40
  • 浮躁的IT信息世界,个人安全意识到底有多重要! 浮躁的IT信息世界,个人安全
  • Facebook事件背后,剑桥分析公司扮演什么角色 Facebook事件背后,剑桥分析
  • 人工智能创造了3种新的职业类别 人工智能创造了3种新的职业
  • 外媒报道澳大利亚政府认为网络安全“世界领先” 外媒报道澳大利亚政府认为网
  • 40 岁之后,程序员真的就穷途末路了吗? 40 岁之后,程序员真的就穷
  • 腾讯立知即刻的创新是否会“短命” 腾讯立知即刻的创新是否会“
  • 处于舆论场中央,共享单车如何才能破冰 处于舆论场中央,共享单车如
  • 微信大规模封号,这是绞杀微商的信号吗 微信大规模封号,这是绞杀微
  • Windows Server Insider预览版Build 17046发布 Windows Server Insider预览
  • 首页 | IT行业 | IT新闻 | IT资讯 | 数码产品 | IT人物 | 科技资讯 | IT财经 | 手机资讯 |
  • Copyright @ 2012 {dede:global.cfg_basehost/, Copyright © 2002-2014 CNIT5. IT资讯网 IT新闻网 IT行业网 版权所有
    欢迎广大网友来本网站投稿,网站内容来自于互联网或网友提供,有人模仿我的站(本站唯一域名地址:www cnit5 com)