我与迪丽热巴一起搞产品研发

AI新闻播报，驾车大牌明星导航栏，目前依据文字转化成视频语音的AI技术性，那简直飞进千家万户家——习以为常了。

在这里当口，做为这身后AI语音识别技术性的研发人员，除开基本搜集视频语音数据信息、训炼实体模型、优化模型……

还能玩出什么花朵来？

……跟迪丽热巴一起搞产品研发，是否算？（误）

“公费追星族”是一种如何的感受

小故事要从一个不太俗的周一早上谈起。

一大早，网易有道的视频语音技术工程师刘银，就跟朋友们一起搭到了飞到上海市的飞机场。

往往说不一般，是由于这趟公出不但有工作目标，还寄予了正前方后才一众技术工程师们的一点小希望。

它是有道词典大牌明星视频语音二期新项目的第一个环节——训炼数据信息视频录制。

上年9月，有道词典上线王俊凯的大牌明星视频语音，变成学习培训行业第一个发布该作用的商品，大受客户五星好评。因此在进一步打磨抛光实体模型以后，她们准备乘热打铁，发布新的女音大牌明星视频语音。

而音频，恰好是刘银与同事们此次要近距触碰沟通交流的迪丽热巴。

针对那样的公出机遇，刘银驻守总部的朋友们坦言：“艳羡坏掉。这哪是公出，说到底签唱会。”

但实际上针对刘银而言，激动之外，也并不是没有压力。

在有道词典的大牌明星语音功能中，了解的大牌明星响声能给你读取每一个英语单词、每一个词组。

很显而易见，她们自身不太可能详细地去视频录制所有的视频语音。

乃至由于经济成本的关联，最终能真实来养TTS（语音识别）实体模型的源视频语音也十分比较有限：好多个钟头的音频，最终可用的很有可能仅有一小部分。

要用非常少的数据信息，最后生成出高品质的视频语音，从收集训炼数据信息逐渐，就需要保证严苛的把控。

有道在线的技术工程师们因此干了双手提前准备。

一方面，融合一期新项目的工作经验，不录英语单词，只录简易的短句子，在比较有限時间内尽量多地搜集原始记录。

另一方面，就需要靠刘银等跟迪丽热巴的临场发挥沟通交流，必须她们以专业技术人员的角度来“电影导演”音频全过程，和迪丽热巴自己搞出相互配合，以录出易用性高些的视频语音数据信息。

因此这次“签唱会”，还只是是一个逐渐。

怎样把迪丽热巴的响声放进有道词典里

尽管早已经历一次发布王俊凯视频语音的工作经验，但在训炼实体模型这一阶段，包含刘银以内的有道在线AI视频语音精英团队4人工作组，或是花销了2周多的時间在实体模型的调节上。

关键的缘故取决于，英语单词和语句所必须的语音识别实际效果不一样，在模型层面必须各自开展调节。

另外，对于实体模型自身，有道在线的技术工程师们开展了数次对比实验，包含經典的根据专注力的Tacotron2实体模型，业界全新的Non-Attention构架等，以求完成最贴近迪丽热巴自己响声层次感，另外音标发音精确、正宗的生成实际效果。

词组等级：根据专注力的Tacotron实体模型

实际来讲，在词组等级，技术工程师们选用了根据专注力的Tacotron实体模型。

Tacotron实体模型应用的是經典的Seq2Seq构架，根据注意力机制来处理伺服电机和视频解码器长短不一致的难题。

初始的Tacotron应用了Location Sensitive Attention。这类注意力机制的难题取决于，不足鲁棒性，且收敛性速率比较慢，尤其是在应对信息量较少的状况时，缺陷尤其显著。其缘故关键取决于，沒有灵活运用声学材料实体模型的单调性这一特性。

对于此事，有道在线技术工程师选用了改良版的Foward Attention，来更换Location Sensitive Attention，另外对专注力两端对齐引流矩阵开展损害管束，以提高实体模型的可靠性和收敛性速率。

此外，基本的Tacotron模型计划方案在一些音标发音（如低頻音标发音）上实际效果不足好。因此，技术工程师们还选用了ASR（语音识别技术）来打輔助。

根据ASR的輔助模型，生成的语句视频语音可懂性更强，精确性和律动层面也有一定的提高，能够处理在纯TTS计划方案中，有一些音发不出来的难题。

英语单词等级：根据时间实体模型的Tacotron实体模型

再聊说英语单词层面。

前边也提及，为了更好地省时省力成本费，有道在线技术工程师们取得的训炼数据信息全是短句子，沒有英语单词。

这就造成 在选用以上用以词组的TTS计划方案时，生成的单词读音在节奏性和声调上面发生一定难题，例如针对单音节或双音节英语单词，发生反复音标发音、漏音、声音速度过快等情况。

因此，有道在线技术工程师们试着了业界全新实体模型构架Non-Attentive Tacotron，根据时间实体模型来取代专注力测算控制模块。

那样做的益处是，根据时间的实体模型能够显式地调整每一个语素的音标发音时间，让生成出去的单词读音更贴近真人版诵读的实际效果。

另外，Non-Attentive实体模型在维持实体模型可靠性层面也更具有优点。

而除开实体模型层面的精心挑选、细致打磨抛光，值得一提的是，网易有道AI视频语音优化算法精英团队本次的新明星视频语音增加了很多高采样频率的英语女音数据信息，将采样频率从16K提高到24K，这就要生成视频语音在音色、听感和真实有效层面拥有进一步的提高。

对于最后的实际效果如何看待，请听

私以为是迪丽热巴本娜没有错了。

“做商品是严肃认真的，但技术性容许尝试错误”

从新项目运行到最后发布，本次有道词典的大牌明星语音功能升級新项目，全部产品研发周期时间大约不断了一个月的時间。

時间上看或是有点儿焦虑不安，但针对产品研发工作组的组员们而言，针对新项目的激动感远远地超出了追逐deadline产生的焦虑情绪。

缘故非常简单——几个人全是依据兴趣爱好同意添加到新项目之中的。

除开刘银，工作组中其他几人的关键技术栈都并不是语音识别。

例如关键承担词组实体模型的王晓强，日常大量担负的是语音识别技术方位的产品研发工作中——这与语音识别基本上能够说成一个彻底反过来的方位。

乃至有一位同学们，先前的学习培训、工作职责与深度神经网络彻底不有关，只是传统式的声学材料前面方位。

大学毕业前，曾在好几家企业经历工作经历的王晓强直言：

这类容许跨行业的技术性文化艺术，实际上是非常少见的。

针对网易有道AI自身，那样的宽容度也确实能够贴上“胆大”的标识。

要了解，做为一款众所周知的查单词专用工具，有道词典是网易有道用户数量经营规模较大的商品，就算是一个细微作用的修改都必须严肃认真看待，更无须说像大牌明星视频语音那样关键的作用升级。

但事实上，那样的宽容和信赖，反倒给了刘银、王晓强等更高的驱动力——自身挑选担负的每日任务，就一定要搞好。

从另一个方面看来，容许研发人员跨行业开展行业交流，并操作过程落地式，也促使了全部技术性精英团队的发展——不把技术性视线局限性在自身的一亩三分地，在独立思考时，反倒更非常容易激起自主创新的火苗。

也有关键的一点是：

在自身很感兴趣的行业，有技术性巨头带上飞，不但无需交费，乃至也有薪水拿，这实在太高兴了。

假如跟网易有道AI视频语音数据工程师们多聊一聊，便会发觉，这支技术性精英团队一直可以把产品研发制成一件既可靠又快乐的事。

她们大多数很年青，逻辑思维活跃性，性情摆脱，也更敢于创新和试着。但另外，从院校到初入职场，从旧自然环境到新领域，她们又可用理工科专业的创新思维能力，迅速地了解到应当“干什么”、“如何做”。

这也体现在了一个个遭受客户五星好评的语音功能上：可以全自动开展语言表达检验的在线翻译作用、英语跟读评分、大牌明星视频语音……

而且，她们还“上得了厅堂，入得餐厅厨房”。不但能在商品方面不断促进技术性落地式，学术研究、赛事考试成绩也拿得下手。例如上年，她们就曾在全世界视频语音顶会INTERSPEECH 2020“口音英语语音识别技术争霸赛”上遥遥领先。

那样的个人提升，身后也体现了网易有道对优秀人才的高度重视。

有道在线AI视频语音精英团队责任人李庆辉就表明，一个踏踏实实的精英团队，应当给每一个人充足的才气使出室内空间，而在这个室内空间下，大伙儿能够全身心刻苦钻研技术性，在致力于自身着重点的状况下，去提升本人的局限性。

而当本人的工作能力持续提升发展，精英团队自身也就顺理成章会发展起來。

优秀人才，便是企业、精英团队较大的財富。

（应规定，原文中所列工作人员均为笔名）