0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Google最强模型BERT出炉

电子工程师 ? 来源:未知 ? 作者:工程师李察 ? 2018-10-27 10:37 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

经过近几年的发展,深度学习给自然语言处理带来了很多新的变化,包括 Word2Vec、ELMO、OpenAI GPT、Glove、Fasttext 等主流模型也在这一端时间内涌现。直到最近 Google 发布的论文“ Pre-training of Deep Bidirectional Transformers for Language Understanding ”中提到的 BERT 模型又刷新了自然语言处理的 11 项记录。

在不少人看来,BERT 对自然语言处理的研究具有里程碑式的意义,至少在复旦大学计算机科学技术学院副教授邱锡鹏看来:“证明了一个非常深的模型可以显著提高 NLP 任务的准确率,而这个模型可以从无标记数据集中预训练得到。”

也正是因为如此,深度学习的不可解释性,在面对某个具体任务时进行迁移学习是十分困难的,相对而言,基于知识图谱的自然语言理解则是可解释性的,更加类似于人类思考过程的技术。BERT 的出现或将对提高知识图谱质量,并进一步提高自然语言处理的质量将非常有帮助。

于是,在以移动互联网为基础高速发展的背景之下,人们获取信息并进行传播的渠道越来越丰富、数据量也越来越巨大,如何更好地进行人机语言交互,让机器既能听懂又能学会迁移?如智能客服、对话机器人已作为主要落地方式被应用于电商、游戏、金融等场景。

今年7月,思必驰北京研发院首先提出了启发式对话系统的框架,通过话题路径规划和知识点推荐模型,实现信息传播和目标引导,可以帮助企业快速构建信息服务对话机器人,并能大幅提升关键信息的用户触达能力。

此外,自然语言处理还在搜索、推荐、翻译等文本类场景上有着更为广泛的落地,放在目前来看,如国外的 Facebook、微软必应等,国内的阿里、今日头条等不少门户类公司都有自己相对完备的搜索、推荐系统。

现在,CSDN 就为大家提供了这样一个机会,让你能够聆听以上公司在自然语言处理方面的最新技术实践,并有机会与它们的资深技术人员面对面交流。

2018 年 11 月 8-9 日,由中国 IT 社区 CSDN 与硅谷 AI 社区 AICamp 联合出品的 2018 AI 开发者大会(AI NEXTCon)将于北京召开。

本次大会设有“自然语言处理技术专场”,我们很荣幸邀请到在研究和工业界都极富盛名的一线技术专家们:思必驰北京研发院院长、公司副总裁 初敏、Facebook语音识别科学家 Baiyang Liu、字节跳动高级技术总监和杰出科学家 Xiaobing Liu、阿里巴巴智能服务事业部北京团队负责人 孙健、微软(亚洲)互联网工程院资深应用科学研发总监陈一宁。

下面重磅介绍自然语言处理技术专题的讲师团和他们的议题概要:

初敏:思必驰北京研发院院长、公司副总裁

演讲主题:启发式对话助力企业服务智能化

初敏博士毕业于中科院声学所,主要研究方向覆盖语音识别与合成、自然语言处理、机器学习和数据挖掘、大数据处理和计算等,在相关领域发表了近百篇学术论文并取得30多项国内外专利。

2000年,初敏博士加入微软亚洲研究院,从事科学研究近10年,创建并领导语音合成研究小组,研制出了第一个中英文双语语音合成系统“木兰”;2009年入职阿里云,承担过各种大数据应用项目。从2014开始,组建阿里iDST智能语音交互团队,在短短两年时间,完成语音交互全链路技术的研发和应用落地,他们的技术在淘宝客服、支付宝客服、Yun OS、手机支付宝、手机淘宝、钉钉等产品广泛应用;2017年加入思必驰,担任思必驰公司副总裁,组建思必驰北京研发院并担任院长,负责语音合成、自然语言处理等核心技术的研发,以及智能语音交互技术在企业服务智能化等新场景的产品研发和业务拓展。

Baiyang Liu:Facebook语音识别科学家

演讲议题:自然语言理解在Facebook的应用与实践

Baiyang Liu是Facebook语音识别研究科学家。自2015年初以来,他一直致力于建立众多支持Facebook AI产品的话语理解和对话系统。在此之前,Baiyang是亚马逊语音识别系统的早期机器学习工程师之一。他获得计算机科学博士学位,主攻计算机视觉领域。

Xiaobing Liu:字节跳动高级技术总监和杰出科学家

演讲议题:大规模深度学习和序列模型的研究及应用

Xiaobing Liu,自2014年起担任Google Brain Staff软件工程师和机器学习研究员。工作中,他专注于TensorFlow以及一些可以应用深度学习来改进Google产品的关键应用,如Google Ads、Google Play推荐、Google翻译、医学大脑等。他的研究兴趣从系统到应用机器学习如ASR、机器翻译、医学HER建模、推荐建模。他的研究成果已成功应用于雅虎、腾讯、Google的各类商业产品。他曾担任2017年ACL计划委员会和2017年AAAI会议主席,负责包括一些顶级会议的部分出版物。

孙 健:阿里巴巴智能服务事业部北京团队负责人

演讲议题:关于人机对话交互的反思、实践和未来展望

孙健,阿里巴巴智能服务事业部北京团队负责人。他主导的自然语言处理基础平台有力支撑和服务了淘宝搜索、阿里妈妈广告等核心业务,主导了阿里巴巴自然交互平台(Natural User Interface, NUI)的设计开发,NUI平台广泛应用于天猫魔盒、互联网汽车等各种设备中。目前他正带领团队打造面向全行业的企业智能服务对话机器人(云小蜜),从而让每一家企业/组织能够及时响应用户的需求,与用户进行7*24的自然交互。

陈一宁:微软(亚洲)互联网工程院资深应用科学研发总监

演讲议题:搜索中的自然语言先验知识

陈一宁是清华大学博士,主要研发方向涵盖语音识别与合成、自然语言处理、人工智能、大数据等方向,并在相关领域发表多篇论文并取得多项专利。2004年,陈一宁博士加入微软亚洲研究院,从事语音合成方面的研究。2009年加入阿里巴巴,负责多项算法工作,是神马搜索的共同创始人,并曾负责iDST智能语音方向的商业化。2017年加入微软互联网工程院,从事自然语言处理相关的研发工作。

除了语音技术专题之外,我们还为大家准备了“语音技术”、“机器学习工具”、“数据分析”、“机器学习”、“计算机视觉”、“知识图谱”等技术专题,以及“智慧金融”、“智能驾驶”、“智慧医疗”等行业峰会。大会完整日程以及嘉宾议题请查看下方海报。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Google
    +关注

    关注

    5

    文章

    1791

    浏览量

    59248
  • AI
    AI
    +关注

    关注

    88

    文章

    35733

    浏览量

    282335
  • 深度学习
    +关注

    关注

    73

    文章

    5569

    浏览量

    123078
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Google Fast Pair服务简介

    Google Fast Pair 是一项利用低功耗蓝牙(Bluetooth LE)技术,实现设备间快速安全配对及提供多种服务的协议。其主要功能包括: 设备处于配对模式时,显示半页通知,便于用户进行
    发表于 06-29 19:28

    2025 Google I/O大会演讲亮点回顾

    在今年的 Google I/O 大会上,我们展示了如何在 Google 的各个平台进行应用构建,并利用 Google DeepMind 的卓越 AI 模型实现创新,大展拳脚。以下是开发
    的头像 发表于 05-28 09:34 ?508次阅读

    Gemini API集成Google图像生成模型Imagen 3

    开发者现在可以通过 Gemini API 访问 Google 最先进的图像生成模型 Imagen 3。该模型最初仅对付费用户开放,不久后也将面向免费用户推出。
    的头像 发表于 05-14 16:53 ?550次阅读

    亚马逊功能最强模型Amazon Nova Premier现已正式可用

    是目前亚马逊功能最强大的模型,适用于处理复杂任务,并可作为教师模型来蒸馏定制模型。 作为现有Amazon Nova理解模型家族的新成员,Am
    的头像 发表于 05-09 18:18 ?234次阅读
    亚马逊功能<b class='flag-5'>最强</b><b class='flag-5'>模型</b>Amazon Nova Premier现已正式可用

    Google Gemma 3开发者指南

    自首次推出以来,Gemma 模型的下载量已超过 1 亿次,社区为各种用例创建了超过 60,000 个变体1。我们很高兴推出 Gemma 3,这是 Gemma 开放模型系列中最强大、最先进的版本
    的头像 发表于 04-08 10:50 ?548次阅读
    <b class='flag-5'>Google</b> Gemma 3开发者指南

    低至?2.27/h!就能使用全球最强开元模型——千问 QwQ-32B

    ABSTRACT摘要捷智算平台上新全球最强开元模型——千问QwQ-32B。JAEALOT2025年3月18日3月17日,阿里通义千问发布的最新开源推理模型QwQ-32B,在国际权威测评榜
    的头像 发表于 03-19 12:34 ?632次阅读
    低至?2.27/h!就能使用全球<b class='flag-5'>最强</b>开元<b class='flag-5'>模型</b>——千问 QwQ-32B

    Google发布最新AI模型Gemma 3

    Gemma 开放模型系列是 Google 推动实用 AI 技术普惠大众的重要基石。上个月,Gemma 迎来了首个生日。回望过去一年,其成果斐然:全球下载量突破 1 亿,社区欣欣向荣,衍生模型超过 6 万个1。Gemma 生态的蓬
    的头像 发表于 03-18 09:51 ?946次阅读

    ?VLM(视觉语言模型)?详细解析

    的详细解析: 1. 核心组成与工作原理 视觉编码器 :提取图像特征,常用CNN(如ResNet)或视觉Transformer(ViT)。 语言模型 :处理文本输入/输出,如GPT、BERT等,部分模型
    的头像 发表于 03-17 15:32 ?4993次阅读
    ?VLM(视觉语言<b class='flag-5'>模型</b>)?详细解析

    如何开发一款Google Find My Tag?

    My 网络的配件(如 AirTag)。通过结合 GPS、蓝牙和众包网络,Find My 提供了高精度的定位功能,同时保护用户隐私 Google Find My网络同样也是由数亿台运行较新版本
    发表于 03-05 17:39

    中科驭数DPU助力大模型训练和推理

    随着深度学习技术的快速发展,大模型(如GPT、BERT等)在自然语言处理、计算机视觉等领域取得了显著成果。然而,大模型的参数量和计算量极其庞大,传统的硬件架构或者单台设备(如单个GPU)难以满足其计算需求。
    的头像 发表于 02-19 09:48 ?795次阅读
    中科驭数DPU助力大<b class='flag-5'>模型</b>训练和推理

    Google Play如何帮助您的应用变现

    本文内容来自于活动演讲内容的整理和总结,演讲人分别为: Google Play 资深产品经理 Kalpa Raj 和 Google Play 商业拓展经理 Maya Ma ? 在 Google
    的头像 发表于 01-21 11:21 ?790次阅读
    <b class='flag-5'>Google</b> Play如何帮助您的应用变现

    Google两款先进生成式AI模型登陆Vertex AI平台

    新的 AI 模型,包括最先进的视频生成模型Veo以及最高品质的图像生成模型Imagen 3。近日,我们在 Google Cloud 上进一步推动这一势头,客户可以在Vertex AI平
    的头像 发表于 12-30 09:56 ?703次阅读

    【「大模型启示录」阅读体验】如何在客服领域应用大模型

    训练模型BERT、GPT等。这些模型在理解自然语言、生成文本、处理对话等方面具有不同的能力。因此,在选择模型时,需要了解每个模型的特点和优
    发表于 12-17 16:53

    Google Cloud如何守护大模型安全

    模型就像神通广大的 "哪吒",能写文章、画画、编程,无所不能。但如果哪吒被恶意操控,后果不堪设想!而且,培养这样的大模型需要大量投入,如果被 "黑化",损失也是巨大的。
    的头像 发表于 11-15 13:36 ?877次阅读
    <b class='flag-5'>Google</b> Cloud如何守护大<b class='flag-5'>模型</b>安全

    Google AI Edge Torch的特性详解

    我们很高兴地发布 Google AI Edge Torch,可将 PyTorch 编写的模型直接转换成 TFLite 格式 (.tflite),且有着优异的模型覆盖率和 CPU 性能。TFLite
    的头像 发表于 11-06 10:48 ?1045次阅读
    <b class='flag-5'>Google</b> AI Edge Torch的特性详解