首页 it资讯 娱乐资讯 创业交流 影视头条 求职招聘 汽车资讯 戏剧歌舞 旅游资讯 农业信息 读书心得 电商资讯 故事会 小说 数码资讯 服装服饰 电子资讯
您当前的位置 :电子资讯 >  正文
谷歌如何利用深度学习来实现智能邮件助手
http://fusongweih.cn2020-10-09

智能写作是基于一年前谷歌发布的智能回复功能进一步研发而成的。先前的智能回复功能通过分析邮件内容来帮助用户快速撰写回复邮件使用户在移动端处理邮件的效率有了大幅的提升。

它基于人类语言中的层级结构,从字母到单词、从短语到句子、从段落到章节和整篇完整表达的内容。研究人员们训练出了了一系列层级模块用于学习、记忆和识别一种特定的模式。在足够多样本的训练下层级模型取得了比LSTM更好的效果,并具有了一定的语音表达能力。下图中蓝色字体就是模型分析邮件后为用户生成出备选的恢复内容。

但从智能回复到智能写作助手的研发过程中,除了迅速响应大规模用户的需求、还需要兼顾公平和用户的隐私。

首先在用户撰写邮件时,为了不使用户感受到明显的延迟,其响应需要在100ms以内,这要求在模型的效率和复杂度上做有效的权衡;目前Gml拥有14亿以上的用户,所以模型需要有足够的容量满足各种不同用户的个性化需求;除了速度和规模外,还需要防止这一功能由于训练数据产生偏见,并且也要符合严格的隐私规定,防止用户的隐私信息泄露。由于研究人员不可以进入email中,所以所有的系统都是运行在他们不可读的数据集上的。

寻找合适的模型

典型的语言生成模型包括N-G、神经词袋和循环神经网络语言模型,它们通过先前词汇预测后续词汇或者句子。然而在邮件中,模型只有当前邮件对话这一单一的信号来预测后续的词汇。为了更好的理解用户想要表达的内容,模型同时还会分析邮件标题和之前邮件的内容。

这种需要叠加上下文的文本分析会带来一个seq2seq机器翻译同样的问题,其中源序列是主题和先前邮件内容的组合、目标序列则是目前用户正在撰写的邮件。它虽然在但是却无法满足严格的时间要求。为了改进这一点,研究人员们将词袋模型和循环神经网络语言模型结合起来,实现了比seq2seq更快的的速度,但只在预测质量上做出了轻微的牺牲。

如上图所示,在这一混合模型中标题和先前的邮件先用词向量平均处理,而后将他们输入到接下来的循环神经网络中去解码。

加速模型训练和服务

为了加速模型的训练和调参,研究人员们使用了自家的大杀器TPU,只需要不到一年就能在几十亿的样本上实现收敛。

虽然训练速度提高了,但在实际使用时候的速度才是用户最为关心的指标。通过将的计算请求分配到TPU上得到了迅速的推理结果,同时由于CPU的算力得到了释放,使得单机可以提供服务的用户数量大幅增加。

公平性和隐私

对于机器学习来说,公平性和隐私是至关重要的问题。语言模型可以折射出人类的认知偏见,这样会生成一系列不希望的句子补全。这些偏见和联系主要来自于语言数据,这对于构建一个无偏模式是巨大的挑战。于是研究人员们通过各种方式不断减弱训练过程中潜在的偏见。同时智能写作助手是构建于数十一个样本上的训练结果,只有同时被多个用户确认的通用结果才会被模型记住。

语言模型中一种常见的性别偏见

在未来这一模型会被持续改进,并尝试着加入一些先进的模型架构(例如transformer和RNMT+等)和先进的训练技术,同时在生产中部署更多的先进模型来满足实时性和要求。个人语言模型会在随后加入以更精确的满足个人的写作风格和表达习惯。

原文标题:谷歌如何利用深度学习来实现智能邮件助手,知你所想想你所写?

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。


选择去香港留学还是去英国留学呢 https://www.liuxue.com/lxnews/03074579/
相关报道
谷歌如何利用深度学习来实现智能邮件助手
电竞游戏手机领域的两强争霸
电视市场的竞争较手机行业更激烈 华为受小米刺激进入电视市场
IC设计工程师必须要知道光刻的原因
LMI Technologies公司推出了智能3D激光轮廓传感器 – Gocator? 2512
探讨MCU如何有助于可穿戴电子产品满足相关需求
哪些苹果设备支持iOS11?并非支持iOS11的所有设备都支持苹果AR
5G到底能干些什么?有那些应用?
预计到2023年将有超过6亿家庭拥有超高清电视
直击智能安防:高清、智能是热点
 
 
 热门新闻
· 探讨MCU如何有助于可穿戴电子产品满足相关需求
· 哪些苹果设备支持iOS11?并非支持iOS11的所有设备都支持苹果AR
· 无人机送货成潮流,先无人机结合RFID技术完成仓库盘点
· 紫外线在各种急慢皮肤病的治疗方法上 具有特殊的作用和重要的价值
· 阿里、百度和腾讯AI实力排名前三 这是凭什么?
· 看看小米除了做手机摄像机的做工又如何?米家小白智能摄像机拆解
· 比特币矿商在未来将出现整合适者生存
· 彩电是弯的好还是直的好?
· 久负盛名的富兰克林研究院科学博物馆建最大VR体验区
· 微软和Oracle统一战线 共同对抗AWS
 推荐
· 谷歌如何利用深度学习来实现智能邮件助手
· 电竞游戏手机领域的两强争霸
· 电视市场的竞争较手机行业更激烈 华为受小米刺激进入电视市场
· LMI Technologies公司推出了智能3D激光轮廓传感器 – Gocator? 2512
· 5G到底能干些什么?有那些应用?
· 预计到2023年将有超过6亿家庭拥有超高清电视
· 直击智能安防:高清、智能是热点
· 机器人或人工智能时代下 社会关系很可能呈现出一个金字塔的形状
· 自主学习机器人:可以自主学习如何绕开障碍物、识别图形和理解语言
· 欧司朗战略重组 出售灯具业务
顺信X网