seq2seq
1 | ''' |
Tensorflow模型构建通用流程
1. prediction
dropout
[seq2seq]
encoder + decoder
teacher forcing
training model + inference model
- training model用于训练，获取encoder、decoder的weights、biases，其中decoder的input使用ground truth
- inference model用于预测，保留training model的weights、biases，改变decoder的input使用前一时刻输出（sampling）
attention
2. loss
3. optimizer
tf.train.AdamOptimizer()
4. train_step
5. batch and epoch
Tensorflow Cheatsheet
定义OP、执行OP
1 | # ---------- 定义OP---------- |
feed
1 | input1 = tf.placeholder(tf.float32) |
training通用流程
1 | # prediction为之前基于x（placeholder），已定义的预测输出 |
mini batch
1 |
|
dropout
1 | keep_prob = tf.placeholder(tf.float32) |
初始化
随机初始化
- W
tf.Variable(tf.truncated_normal(shape, stddev=0.1))
- b
tf.Variable(tf.zeros(shape) + 0.1)
note：好的初始化系数、优化器等设置，可以在迭代次数一定的情形下，更好的逼近最优解，从而提升模型性能
计算准确率（OP）
1 | correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1)) # tf.argmax返回最大值下标 |
tensorboard
1 | with tf.name_scope('input'): |
tensorboard --logdir=dir- name_scope在定义图时进行设置（执行图则仅对定义图进行计算）
模型存取
模型保存1
2
3saver = tf.train.Saver()
# ...
saver.save(sess, 'file_path/file_name')
模型读取1
2
3saver = tf.train.Saver()
# ...
saver.restore(sess, 'file_path/file_name')
NLP
词汇表征
- vocabulary + one-hot representation
- 词汇表：V = [a, an, …, zulu,
] - 表征：“an” = [0, 1, …, 0, 0]
- 词汇表：V = [a, an, …, zulu,
- featureized representation: word embedding
- 表征：[feature1, feature2, …]对应一个词（好处是可以计算各个词之间的距离，识别相似的词）（如何将词映射为一个特征向量？：是学来的）
- word embedding含义是，将各个词embed嵌入到n维特征空间中去
- 有点类似人类识别中，将图像encoding
- cosine similarity $sim(u,v) = \frac{u^{T}v}{| u |_{2} | v |_{2}}$
word embedding 学习
word2vec: skip gram
构造一个预测（或者映射）模型，输入一个词context（one-hot），预测对应到另一个词target（one-hot）
- 输入context、输出target的配对关系（间隔），是在一个句子中，在一定正负范围内，随机取的
- 而context的选择，则需要特别设计，避免频繁sample无意义的词
目标是通过训练这个映射关系，学习到embedding matrix $E = [e_{1}, e_{2}, e_{3}, …]$
- $o_{context}$是context的one-hot表示
- $E$的各列，为词汇表中各个词的embedding；各行则为embedding的各个特征维度
- $Eo_{content}$相当于从$E$中提取content的embedding
词汇表较大时，skip gram中的softmax，分母求和，会有计算的大的问题
negative sampling
构造一个预测（或者映射）模型，输入一个词context（one-hot），预测对于一个词target是否存在对应（每个target一个二分类问题）
- 输入context、判断目标target的配对关系（间隔），是在一个句子中，在一定正负范围内，随机取的
- 而context、target的选择，则需要特别设计，避免频繁sample无意义的词
- 使用vocabulary_size个二分类器，代替softmax，提升计算性能
- 训练数据每次构造，从句子中抽取一对context、target（positive sampling），在从词汇表中随机为context抽取k个target（negative sampling）
- 训练时，上述构造的k+1对context、target，训练k+1个分类器
seq2seq
基础模型
encoder（序列迭代输入） + decoder（迭代输出序列）
- encoder甚至有可能并不是一个RNN，而是例如一个CNN，对图像进行encoding
beam search
翻译模型，选择最可能的句子
考虑输入$x$由encoder进行encoding，给入decoder
第一迭代，输出的$\hat{y}^{\langle 1 \rangle}$；第二迭代，输出的$\hat{y}^{\langle 2 \rangle}$…
为了得到全局最佳的句子输出，优化是不应将$\hat{y}^{\langle 1 \rangle}$、$\hat{y}^{\langle 2 \rangle}$、…分开单独考虑，而应该全局考虑。即优化使得given $x$，能得到最优句子$P(\hat{y}^{\langle 1 \rangle},\hat{y}^{\langle 2 \rangle},…|x)$
- 首先，翻译模型使用language model自动生成一条结果语句，每次词的选取是根据softmax的输出概率，随机sample的。这样无法保障，同一个输入，每次输出相同（预期是每次都输出最佳句子）
- 其次，若对softmax的输出，不再根据概率sample，而是直接选择概率最大的，即使用贪心算法，则如上文所述，可能得到的不是全局最佳句子。应该$(\hat{y}^{\langle 1 \rangle},\hat{y}^{\langle 2 \rangle},…|x)$，整体考虑
为此，使用beam search做最优化的选择，流程如下：
- 对$\hat{y}^{\langle 1 \rangle}$，取top $B$个候选
- 对各$\hat{y}^{\langle 1 \rangle}$候选，获取$\hat{y}^{\langle 2 \rangle}$。整体考虑前两个输出联合，可以计算$P(\hat{y}^{\langle 1 \rangle}, \hat{y}^{\langle 2 \rangle} | x) = P(\hat{y}^{\langle 1 \rangle} | x)P(\hat{y}^{\langle 2 \rangle} | x, \hat{y}^{\langle 1 \rangle})$。对于所有$\hat{y}^{\langle 1 \rangle}$候选，所有$P(\hat{y}^{\langle 1 \rangle}, \hat{y}^{\langle 2 \rangle} | x)$计算结果中，取top $B$个候选
- 按2方式继续，直到EOS或预设的$T_{y}$
beam search的目标函数
为避免各个P过小，造成误差和无法表示（过小溢出），对P取log
但上述目标函数倾向于使用更短的输出句子，对此使用length normalization（$\alpha$为超参数）
误差分析：RNN还是beam search有问题
对于同一输入句子，输出：
human-level：$y^{h}$
model：$\hat{y}$
将$y^{h}$依次输入decoder，能够最终计算出$P(y^{h}|x)$
- $P(y^{h}|x) > P(\hat{y}|x)$：RNN能够计算出human-level更好，但却没选到，beam search有问题
- $P(y^{h}|x) < P(\hat{y}|x)$：RNN未能计算出human-level更好，但却没选到，RNN有问题
（若使用了length normalization，则对比length normalization之后的P）
汇总所有labeled data的对比结果，看看RNN还是beam search有问题
若RNN有问题，则进一步bias variance分析；若beam search有问题，考虑增大$B$
attention模型
对于seq2seq模型，
encoder由$a^{\langle 0 \rangle} = 0$初始化，每次用$a^{\langle t’-1 \rangle}$、$x^{\langle t’ \rangle}$计算$a^{\langle t’ \rangle}$，最终将$a^{\langle T_{x} \rangle}$传给decoder
decoder由$a^{\langle T_{x} \rangle}$初始化，每次用$a^{\langle t-1 \rangle}$、$\hat{y}^{\langle t-1 \rangle}$计算$\hat{y}^{\langle t \rangle}$
- 计算的unit可以是naive RNN、GRU、LSTM
当输入序列过长时，decoder性能下降（记不住这么长的输入）
attention模型试图在decoder生成$\hat{y}^{\langle t \rangle}$时，引入encoder不同$t’$的$a^{\langle t’ \rangle}$的考量
具体来讲，使用$s^{\langle t \rangle}$表示decoder的输出，以区分encoder的activation
$s^{\langle t \rangle}$的计算，除了输入$s^{\langle t-1 \rangle}$、$\hat{y}^{\langle t-1 \rangle}$，还增加了一个context $c^{\langle t \rangle} = \sum_{t’} \alpha^{\langle t, t’ \rangle} a^{\langle t’ \rangle}$，即对key各项的加权求和，并且这组权重对于不同的query（$s^{\langle t - 1 \rangle}$）是不同的
- 其中$t’$为encoder中$a$对应各时刻
- $\alpha^{\langle t, t’ \rangle}$即表示计算$t$时刻的$s^{\langle t \rangle}$时，应付出多少attention在$a^{\langle t’ \rangle}$上
- $\alpha^{\langle t, t’ \rangle}$是归一化的，由$s^{\langle t-1 \rangle}$（query）和$a^{\langle t’ \rangle}$（待weighted项）通过一个小NN-softmax算出（直接end-to-end计算）
