目录

• 1. 基础知识
  • 1.1 one-hot词向量
  • 1.2 句子的表示——rnn

参考： gitchat:深度学习第三课：文本生成

1. 基础知识

1.1 one-hot词向量

需要正确区分one-hot表示与词向量

• one-hot表示：n维向量，每个维度只能有{0,1}的取值，只能编码2^n种信息
• 词向量表示：是一种distributed representation，即词嵌入（word embedding）。用更低维度的向量表示，每个维度的取值是实数。可以对抗维度灾难。

1.2 句子的表示——rnn

可以证明，rnn是图灵完备的。rnn的公式如下：

$$\\h_t=f_h(x_t,h_{t-1})=\phi_h(W^Th_{t-1}+U^Tx_t) \\y_t=f_O(h_t)=\phi_O(V_Th_t)$$