新智元介绍
在新智元微信公众后台回复170410下载全部课程资料（含347PPT 、数据库、视频地址）
2017年台大李宏毅中文深度学习课程来了。课程名称是“机器学习及其深层与结构化（NTUEE Machine Learning and having it Deep and Structured）”。我们先来看一下李老师对于课程名称的解释。
可以看出，其中的“深度”描述了机器学习的方法，也就是说本门课程主要内容是关于深度学习的，而“结构化”则是深度学习的任务。
课程目录
-
课程介绍
-
作业0
-
Tensorflow 介绍
例1- Word2vector模型
例2-卷积神经网络（CNN）
-
深度学习模型的基础架构
-
用于反向传播的计算图
-
深度学习语言模型
-
作业1-语言模型
-
特殊的深度学习架构
-
RNN条件生成
-
作业2
-
自然语言对话的深度学习
-
深度学习和芯片
-
评分
在新智元微信公众后台回复170410下载全部课程资料（含347PPT 、数据库、视频地址）
视频地址：
https://www.youtube.com/playlist?list=PLJV_el3uVTsPMxPbjeX7PicgWbY7F8wW9
李宏毅老师简介
李宏毅老师于2012年从台北 National Taiwan University (NTU) 博士毕业。2012年9月—2013年8月，在 Sinica Academia 的 Research Center for Information Technology Innovation 做博士后。2013年9月—2014年7月，在 MIT Computer Science and ArtificialIntelligence Laboratory (CSAIL) 的 Spoken Language Systems Group 做访问学者。现任 Department of Electrical Engineering of National TaiwanUniversity 副教授。主要研究领域为机器学习（特别是深度学习）、口语语义理解和语音识别。
第一章 课程介绍
结构化的（输出）学习；
机器学习就是去寻找一个函数 f
回归
分类
机构化学习
输出序列:以语音到文本的转换为例
输出矩阵：以图像到图像、文字到图像的转换为例
结构化输出的挑战：
输出空间是非常稀疏的
因为输出组件有依存性，应该对他们进行全局考虑
第二章 TensorFlow介绍
流程结构
总原则
导入模块
Session1
Session2
变量和范围1
变量和范围2
变量和范围3
变量和范围4
变量和范围5
占位符 1
占位符 2
定义添加层
例1- Word2vector模型
例2-卷积神经网络（CNN）
第三章 深度学习模型的基础架构
深度学习三步走：神经网络--成本函数--优化
完整的连接层
不同层输出之间的的关系
递归神经网络
深度RNN
三角RNN
Naive RNN
LSTM
堆叠RNN
第四章 用于反向传播的计算图
反向传播：一种计算梯度的高效方法
通过计算图（computational graph）理解反向传播：Tensorflow, Theano, CNTK, etc.
计算图：一种描述函数的“语言”
-
节点：变量（标量、向量、张量……）
-
边线：操作（简单函数）
参数共享：相同的参数出现在不同的节点
前馈网络计算图
前馈网络的损失函数
损失函数的梯度
计算梯度需要：计算偏导数，使用反向模式→输出总是一个标量（scalar）
递归网络计算图
参考资料
第五章 语言建模
语言模型：预估单词序列的概率
应用：语音识别（不同的单词序列可能发音相同）；句子生成
N-gram
怎样预估P(w₁, w₂ , w₃, …., wn)
收集大量文本数据作为训练数据（但单词序列 w₁，w₂，…，wn可能没有出现在训练数据中）
N-gram 语言模型： P(w₁, w₂ , w₃, …., wn ) = P(w₁ |START)P(w₂ |w₁ ) …... P(wn |wn-₁ ) ← 这是 2-gram
3-gram, 4-gram …… 也很容易生成
NN -based LM
RNN-based LM：为长期信息建模
也可以用深度 RNN 或 LSTM
N-gram 的挑战：估计的概率不一定准确（尤其当 n-gram 中 n 的数值非常大时）
原因是数据稀疏性：大的模型，不充分的数据
这叫做“语言模型平滑”（language model smoothing）
语言模型的神经图灵机
更多参考资料
第六章 特殊深度学习结构
Spatial Transformer Layer
图像转换
递归结构
应用：情感分析
-
循环结构：是递归结构的特殊形式
-
递归结构：如何堆栈函数 f 是已经确定的
递归模型
递归神经张量网络
实验：5-class 情感分类 ( -- , - , 0 , , )
矩阵-向量递归网络
Tree LSTM
第七章 RNN 条件生成
生成
句子由字符/单词组成
利用 RNN，每次生成一个字符/单词
图像由像素组成
利用 RNN，每次生成一个像素
条件生成
我们不希望只是简单生成一些随机的句子，希望根据当前条件生成句子。
应用：生成图说；聊天机器人
注意力：动态条件生成
机器翻译：基于注意力的模型
语音识别
图像说明生成
课程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html
3月27日，新智元开源·生态AI技术峰会暨新智元2017创业大赛颁奖盛典隆重召开，包括“BAT”在内的中国主流 AI 公司、600多名行业精英齐聚，共同为2017中国人工智能的发展画上了浓墨重彩的一笔。
点击阅读原文，查阅文字版大会实录
访问以下链接，回顾大会盛况：
-
阿里云栖社区：http://yq.aliyun.com/webinar/play/199
-
爱奇艺：http://www.iqiyi.com/l_19rrfgal1z.html
-
腾讯科技：http://v.qq.com/live/p/topic/26417/preview.html
