学习多媒体开发的正确姿势?陈功:看书 啃代码 搞插件

  • 时间:
  • 浏览:1

LiveVideoStack:从Marvell到Intel,再到声网,您似乎突然围绕音视频技术领域,是有哪些内在和外在的因素促成了你这一 结果呢?



LiveVideoStack Meet 上海

陈功:AI肯定是有另有几个热点,多媒体与AI的融合有你这一 你这一 的可能;另外,在多媒体传输方面,QUIC会是有另有几个热点;WebRTC有一种也会是。

陈功:你这一 更多的是自己兴趣,在研究生阶段,我的研究方向是模式识别,涉及到视频内容分析的研究,当时就对视频比较感兴趣,工作事先接触到多媒体框架的开发,以及音视频传输和转码,随便说说在你这一 领域有你这一 你这一 的方向都必须学习研究,比较有趣。我加入声网,也是可能当时它是全球第有另有几个聚焦高质量实时音视频的PaaS平台,在音视频传输质量这块,通过优化传输算法提升QoS,不断改善实时通信。直到今天,我都随便说说这点很有意义,也很有挑战。

LiveVideoStack:采访了不少多媒体开发的“大牛人物”,亲戚我们我们我们我们我们我们 大多后会科班出身,在导师的带领下经过了系统的训练和研究。而对于没有另有另有几个经历的开发者而言,怎么都可不可以有益于快速上手,不须断做精?对此,您有有哪些建议。

陈功:泛娱乐应用、游戏、教育、直播等可能是广泛采用的场景和行业。在更传统金融、安防、企业通信等领域应该也会有更多场景老出。我自己比较乐观的认为,多媒体技术后会成为你这一 你这一 行业的标配。

陈功:WebRTC突然是声网的战略方向之一,亲戚亲戚我们我们我们我们我们我们 团队在WebRTC领域主要有有几个方面的工作,首先肯定是质量优化,通过优化WebRTC应用于服务器端的能力,着力提升音视频传输的质量。针对不同的应用场景,进行传输策略的调优,包括弱网对抗,码率平滑等;另外,将亲戚亲戚我们我们我们我们我们我们 优质的音视频通信能力,以WebSDK的形式更易用提供给开发者,适配各种浏览器和终端接入体验;最后亲戚亲戚我们我们我们我们我们我们 非常关注WebRTC关键模块的持续改进,持续做研究性的工作。本次WebRTCon上,我也会分享声网亲戚亲戚我们我们我们我们我们我们 团队在WebRTC上的你这一 心得和实践,比如亲戚亲戚我们我们我们我们我们我们 服务器端和传输能力与WebRTC的高度结合。

LiveVideoStack:这几天在西班牙世界通信大会MWC上,5G成为热点。你怎么都可不可以看5G技术给多媒体生态带来的红利?

陈功:我是声网Agora的工程师,WebRTC方向的技术负责人。加入声网事先,在两家半导体公司Marvel和Intel工作过,从事多媒体,音视频相关的工作。目前的工作主要在实时音视频通信,音视频传输质量优化,以及WebRTC协议方面研究,比较关注的领域还包括AI算法在音视频方向的应用。

LiveVideoStack:可能让您选折 有几个关键词来预测2018年多媒体开地处态的热点,您会选折 有哪些?

LiveVideoStack:陈功你好,都必须简要介绍下自己,包括目前的主要工作及关注领域?

陈功:大型的开源项目不可处置的后会有另有另有几个的间题图片,同时将WebRTC应用于不同的垂直领域,也是一样。简单的说,音视频通信和直播,你这一 有一种不同的场景,对于延时,画质,流畅度等关键指标的要求后会差异,这事先就必须针对场景调优。企业在开源项目上的二次开发,比如必须在特定模块上进行修改,要做好关键模块的差异化管理,定期更新base版本,维护好patch list。当然,WebRTC的模块化代码有事先改动很大,比如jitter buffer,比如下行强度 估计,企业都必须根据自身必须决定更新的周期。WebRTC技术还必须加强服务器端的能力,保证QoS,可能对企业来说,在现阶段也都必须考虑直接使用做过优化的第三方平台SDK平台。

LiveVideoStack:尽管WebRTC让多媒体开发门槛进一步降低,但开源项目必然受到各种牵制,社区可能为某个特定的场景实现功能、甚至优化。你这一 ,企业不得没有开源的框架下做你这一 改进、优化,这就意味企业版与社区版fork的状况,将大大增加企业维护分支的成本。您怎么都可不可以看待你这一 两难的境地?怎么都可不可以做好平衡呢?

4月21日,亲戚亲戚我们我们我们我们我们我们 邀请到了触宝科技音频技术专家吴威麒,PP云技术副总监曾小伟,腾讯天天P图iOS开发组长沈轲轶,优酷VR技术专家盛骁杰,三体云联产品副总裁崔文秀,相芯科技图形引擎负责人蔡锐涛6位讲师同时分享多媒体开发的技术实践与未来展望。

陈功说,要想科学得多媒体开发,首先必须兴趣,接下来还必须好的最好的措施 。LiveVideoStack邮件采访了声网Agora首席WebRTC架构师,畅聊了自己的成长经历,WebRTC的演进趋势等。陈功表示,WebRTC的未来值得期待。

点击 [ 阅读原文 ] 了解相关活动信息,快来报名吧!

展晓凯《音视频开发进阶—以Android和iOS平台为例》

陈功:对于开发者来说,最重要的也是要有兴趣。多媒体开发所含的内容很广,音视频分类整理,编解码,传输,前后处置,播放等等,每一块后会有知识储备。可能要快速上手,建议先找多媒体技术应用的书籍来学习下基础概念,你这一 从开源的多媒体框架入手,比如gstreamer/FFmpeg,啃你这一 代码,写你这一 插件,逐渐熟悉整个多媒体处置流程,并从中找到自己的兴趣点,进行深入研究。可能对音视频传输,可能音视频处置技术有兴趣,还都必须关注一下WebRTC,分模块进行学习,比如传输相关的模块,包括下行强度 估计,拥塞控制;比如音频的有几个信号处置模块,后会具有一定技术高度的实现。

LiveVideoStack:都必须介绍下,您和您的团队正在(WebRTC)做哪方面的工作?

大师兄刘歧和赵文杰三年打造,行业内首本《FFmpeg从入门到精通》

策划 / LiveVideoStack

陈功:5G能给亲戚亲戚我们我们我们我们我们我们 带来有哪些,随便说说是当前一段时间讨论比较多语录题,低延时,高性能,有有哪些指标怎么都可不可以能影响生态,影响业务模式,后会不断探讨中。我自己基本持理性的乐观态度,5G会消灭图文的说法,你这一 夸张,你这一 移动视频内容的推广肯定会有阶段性的飞跃,可能说二次飞跃;用户会更习惯与随处可得的,更雄厚的视频内容,像是基于全景,3D视频的赛事直播,AR/VR的游戏互动,有有哪些内容后会可能老出在移动终端上。

LiveVideoStack:WebRTC 1.0定稿,迈出了非常重要的一步。在此事先,WebRTC必须处置有哪些间题图片,重点的改进方向有有哪些?

报名参加沙龙活动后会可能参与抽奖获得!

LiveVideoStack:展望未来,你认为多媒体技术在有哪些场景或行业有可能重度使用?

继3月31日北京多媒体开发沙龙,LiveVideoStack走进上海,希望通过“多媒体开发新趋势”系列沙龙,为亲戚亲戚我们我们我们我们我们我们 展现新技术在音视频领域的探索与实践,以及新兴应用场景和传统行业的最新最佳实践。

亲戚亲戚我们我们我们我们我们我们 现场准备了:

陈功:历经6年的长跑,WebRTC 1.0定稿随便说说是值得庆祝,而Apple的加入,也你要 这一 定稿显得更有意义。各个浏览器厂商的支持,让WebRTC有希望在所有平台和端上铺开音视频通信的能力。展望WebRTC 1.0事先的改进路线,必须从认识目前应用中的间题图片出发。连接建立和可用性突然是WebRTC的痛点,包括ICE的建立时长间题图片,即便是更新到Trickle ICE,相信WebRTC后会在交互连接建立协议上持续改进;对于SDP的强制支持使得易用性上有所欠缺,在Object RTC协议中可能摒弃了SDP,这可能是有另有几个改进方向。在视频编码器的选折 上,必须处置各个端对于H.264/VP8的支持状况不同的间题图片,这会影响到互通质量,与非 会加速AV1的推广;另外,必须增加更多的视频支持,包括全景,3D,以及虚拟现实的视频。

多媒体开发新趋势 

最后,不得不提的是QUIC在WebRTC中的应用前景,从事先的WebRTC工作组会议上的讨论来看,将来采用基于QUIC的媒体传输也是有可能的。