北京字典价格联盟

总结丨Google Research大牛带你深度学习TensorFlow之第一堂课经典提炼

只看楼主 收藏 回复
  • - -
楼主


特邀讲师

阮巨城博士

Software Engineer @ Google Research

Carnegie Mellon University Ph.D. in Computer Engineering
博士期间citation 223
台湾国立清华大学学士,曾服务于台湾中央研究院




第一节课内容总结



机器学习还是深度学习?

我们如何定义机器学习呢?在阮博士看来其实就是运用数据做出更好的判断。机器学习其实就是计算机科学,与基础的统计知识和到底如何处理问题的Domain knowledge的交叉点。

那么,深度学习事实上是机器学习的一个分支而已。




为什么要用深度学习?从分类垃圾邮件到Alpha Go

很多人会说处理如何分类垃圾邮件这个简单的问题,其实用基本的机器学习,例如Logistic Regression, SVM 等也可以处理。为什么需要用深度学习?那答案就是深度学习的效果和准确度更高。很多原本用机器学习的应用现在也开始慢慢采用深度学习。 

除此之外,现代电脑通过深度学习“Embedding space”等独有的功能,能够将文字embed到一个有语义的向量空间中,这就意味着计算机能够理解的语义范围变得更广了。

深度学习不断发展的现在,人工智能已经可以开始创作写诗。




Alpha Go作为最有名的一个案例,其中有关深度学习一个非常重要的概念就是Convolutional Neural Network.在本次训练营中,我们将会对以上案例,以及包括字体识别,语音识别等多种深度学习实际应用背后的原理进行介绍。


深度学习的背后到底是什么?

深度学习其实就是一种监督式学习,这种supervised learning 也是我们这次训练营学习的重点。归结到最后,Deep Learning其实就是一个运算规则,所以我们的问题就是如何选择这个function。

深度学习40年前其实就已经发展出来了,但是叫做Artificial Neural Network.但是为什么现在深度学习能够做出很好的效果,最主要有两个原因,一个是现在有效的数据比原来多了很多,另一个就是现在的运算能力比原来增强了很多。 




什么是Artificial Neuro Network,类神经网络?

之后,阮博士对类神经网络做了详尽的介绍,包括人脑与机器大脑的区别。相较于人脑通过神经元,通过突触链接,进而形成神经网路。计算机的大脑组成依靠信息的传递与沟通。每一个信息作为一个输入(input),与其比重进行相乘,然后由Activation function,类似于一个“开关”,来决定是否继续传递。而很多个神经元叠放在一起就成为了电脑的神经网络。最后一层通过Softmax的转换成一个从0到1的概率输出。




最后的如果将整个过程联系在一起看,便是下面的这个结果。包含两个过程,一个是Forward evaluation, 也就是从Input一层层传递信息到Softmax层得出概率结果。第二个过程就是Backward propagation,也就是如何改进中间的信息比重。




阮博士在此之后,深入浅出介绍了如何准备训练数据,以及深度学习数据分析的整体框架结构(如下图),并通过Tensorflow的案例展示如何神经网络进行分析。 更多干货,感兴趣的同学,请观看我们长达两个多小时的免费公开课。

(点击文末“阅读原文/Read More”观看完整视频)




除了对深度学习核心技术的掌握与实作,本课程设计的实战也是让同学模拟在现实工作中,对deep learning project的处理步骤以及方法。让学员能够提前体验一个machine learning engineer 或 quantitative analyst 的生活以及 responsibility。阮博士在第一堂课的最后特别提到了Deep Learning领域工作的前景:




关于课程

目标:让学员在最短时间内(小于8小时)理解并掌握深度学习技术,成为各大公司炙手可热的深度学习高手。

(1) 理论课:围绕深度学习重点概念(Activation Function, Forward Evaluation, Backward pro-agation等)介绍深度学习中缺一不可的各种要素

(2) 实战课: 利用Tensorflow 以及iPython动手建立你的第一个深度学习模组 


课程大纲

请在公众号后台回复“DS401”查看


后续课程安排

第二堂课

学习目标:
训练 (train) Feedforward Neural Network 所需要的概念及技术
熟悉深度学习所生成的 embedding space 及经典应用: word embedding
讲解深度学习进阶模型: Convolutional Neural Network (CNN)
具体理论课程安排:
1. 训练 (train) Feedforward Neural Network 所需要的概念及技术
a. Minibatch
b. Stochastic gradient descent
c. Learning rate
d. Adagrad
2. 熟悉深度学习所产生的embedding space 及经典应用: word embedding
a. Understanding embedding space by using word embedding as example
b. Applications from word embedding
c. Variants to train a word embedding
3. 理解深度学习进阶模型: Convolutional Neural Network (CNN)
a. Why CNN for images?
b. Convolutional layer (filter)
c. Zero padding
d. Channels: grey-scale v.s. colorful images
e. Max-pooling
f. Flattening

项目课程安排:
1. 示范对资料及模型的操作:in TensorFlow + Keras。
a. Get familiar with MNIST dataset
b. Pre-process dataset
2. 设计、调整并部署FNN 深度学习模型 in TensorFlow + Keras。
a. Design network structure: tower v.s. pyramid
b. Change activation function: is ReLU the best?
c. Select loss function
d. Dropout: when, where and how often?
e. L1 and L2 Regularization: what are the effects?
3. 运用feedforward neural network 产生 word embedding
a. Get familiar with text representation and news dataset
b. Design and train a FNN
c. Examine the word embedding

第三堂课
学习目标:
设计、调整并部署Convolutional Neural Network 所需要的概念及技能
讲解深度学习进阶模型: Recurrent Neural Network (RNN)
展示RNN模型及其应用
具体理论课程安排:
1. 设计、调整并部署 Convolutional Neural Network 所需要的概念及技能
a. Selection of the number and size of filters
b. Variants: Inception-net
c. Variants: Res-net
d. Variants: DEVISE for co-training images and texts.
2. 讲解深度学习进阶模型: Recurrent Neural Network (RNN)
a. Network with memory
b. Gradient diminish and explosion
c. Gated Recurrent Unit (GRU)
d. Long Short-Term Memory (LSTM)

项目课程安排:
1. 示范设计、调整并部署CNN 模型 in TensorFlow + Keras。
a. Revisit MNIST dataset
b. Design convolutional layers (filters)
c. Visualize convolutional layers
d. Compare results
2. 分析并比较 CNN 所产生出的 embeddings。
a. Play with different CNN variants
3. 示范设计LSTM以及其最新应用:文章生成


课程时间

第二堂课 1月21日 3小时
美西时间 周六 6PM-9PM
美东时间 周六 9PM-12AM
北京时间 周日(22日) 10AM-1PM

第三堂课 1月22日 3小时
美西时间 周日 6PM - 9PM
美东时间 周日 9PM - 12AM
北京时间 周一(23日)10AM - 1PM


扫码加入课程咨询群



联系课程负责人(备注:咨询深度学习)

Elaine



课程主页

复制链接或点击“阅读原文”:

https://www.bittiger.io/livecourses/EHWon2WhtmembkCFv





举报 | 1楼 回复

友情链接