首页
首页 >> 科技咖 >> 正文

Yoshua Bengio清华最新演讲:深度学习AI迈向人类水平还面临这

日期:2018-11-08 20:48:19 来源:互联网 编辑:小狐 阅读人数:434

大数据文摘出品

昨日,清华大学主楼报告厅迎来了人工智能的次小高潮。

被称为人工智能三巨头”之的蒙特利尔大学计算机科学与运算研究系教授Yoshua Bengio为清华的师生带来了场长达个半小时的充实演讲。

刚刚入场就被清华同学团团围住签名合照的Yoshua教授

本次计算机科学与系列讲座第59讲暨CCF YOCEEF TDS Special系列讲座,Yoshua Bengio带来的主题讲座名为《深度学习抵达人类水平面临的(Challenges for Deep Learning towards Human-Level AI》。

本次演讲讲述了人工智能尚未达到人类水平的原因,以及机器学习和自然语言处理遇到的,整个演讲娓娓道来且让人意犹未尽。

在演讲中,Bengio提到AI如今的大获成功主要是靠有学习,而有学习里的高级概念(比如label)是人类给的,不是机器自己去发现的。没有这个主动认知的过程,机器对数据的理解其实是相当肤浅的,改几个像素就会错把狗的图片当成鸵鸟。

Bengio和Yann LeCun在2007年的篇论文里提出:我们需要学到个好的表示。好的表示到底是什么,这尚无定论,但我们希望学到的表示能抓住事物的原因和数据的内在解释。

Bengio进步认识到,既然好的表示可以得到简单的相关性,又没有免费的午餐,那么就定需要先验去辅助分离内在的因子变量。

这类先验可以是空间和时间尺度上的先验(比如变量变化的快慢),也可以是高层表示之间应具有统计独立性。

好的表示还应具有这样的先验:能把数据映射到个空间,在这个空间里做什么都很简单,计算简单、学习简单、因子之间的相关也很简单。

还有类先验不是被动给予的,而是主动与环境交互获取的,这是强化学习的范畴。

心理学家提出认知任务有两种不同类型,这可以帮助我们理解深度学习当前存在的局限,以及该向何处发展。

第类认知任务是可以快速完成的、无意识的动作,比如口渴时下就能把水杯拿起来喝水,而不是盯着水杯刻意地识别它。

第二类任务则是速度较慢的、有意识的,包含逻辑、语言、计算等。经典符号AI曾经尝试去解决这类任务。

意识空间里的事物维度很低,因此我们能在这样的空间里进行推理。

下雨时打伞”,这个句子虽然只有下雨”和打伞”两个变量,但因为它高概率为真,所以具有很强的预测能力,这说明仅用很少的信息就能做出预测。

意识先验就是假设有很多只包含很少变量但为真的事情,因此,好的表示的个性质,就是当我们把数据映射到表示空间之后,变量之间只有少数相关。

我们也可以在这样的空间里讨论变量的因果性:在像素空间里说个像素引起另个像素的变化是没有意义的,但在表示空间里就可以说个变量引起另变量的变化。

无意识状态是高维的,有意识状态是低维的,可以用注意力机制选择较少维度去表示有意识状态。

借鉴GAN的思想,训练可区分来自P(A,B)和P(A)P(B)这两个分布的(A,B)的判别器,如果区分不出则说明它们是独立的。这样可以让encoder学到的表示尽可能独立。

直接计算互信息往往是困难的,我们也可以用类似的思想,用判别器去学习互信息的估计。这样学到的互信息估计可用来提高GAN的性能。

现在的NLP任务只是在文本上训练模型。

这样会出现很多常识性的错误,因为它并没有理解语言内在的含义。

想要真正理解自然语言,不仅要对语言本身建模,还要对所处环境进行建模。要将语言学习和世界运转方式的学习相结合。

BabyAI通过19个由易到难的游戏关卡而不断学习,就像婴儿成长的过程样。这很像课程学习(curriculum learning)。


本文相关词条概念解析:

学习

学习,是指通过阅读、听讲、思考、研究、实践等途径获得知识或技能的过程。学习分为狭义与广义两种:狭义:通过阅读、听讲、研究、观察、理解、探索、实验、实践等手段获得知识或技能的过程,是一种使个体可以得到持续变化(知识和技能,方法与过程,情感与价值的改善和升华)的行为方式。广义:是人在生活过程中,通过获得经验而产生的行为或行为潜能的相对持久的行为方式。

先验

先验通常意义上理解,同“经验”相对,意为先于经验的,但为构成经验所不可获缺的。但此概念涉及对近代西方哲学基本问题的探讨,在不同语境,词义有微妙的区别。严格地说,胡塞尔对康德transzendental概念的接受,主要还是在康德赋予这个概念的第一个含义方面。而后一个transzendental概念所指明的已经不再是对主体性中的客观认识,或者说,超越主体的认识如何可能的提问,而是更多地关系到从主体性或从主客体相互关系的维度出发对此提问的回答。

空间

空间,英文名Space,与时间相对的一种物质客观存在形式,由长度、宽度、高度大小(体积、形状不变),时间表现出来。通常指四方(方向)上下。空间有宇宙空间、网络空间、思想空间、数字空间、物理空间等等,都属空间的范畴。地理学与天文学中指地球表面的一部分,有绝对空间与相对空间之分。空间由不同的线组成,线组成不同形状,线内便是空间。

相关新闻:

捡漏!用谷歌图片搜索自制深度学习数据集 | 教程

铜灵 编译整理

就怕前脚刚立志搞个新研究,后脚就发现没有合适的数据集可用。AI工程师从入门到放弃,可能就是这么会的功夫。

别找了,现在深度学习数据集也能自制了。

在这份教程中,来自fast.ai的小Francisco Ingham就想手把手教你,如何利用谷歌图片搜索,DIY份自己的深度学习数据集出来,还不会违反谷歌服务条例。

网友评论