生成模型(一):GAN
因为 \frac{\partial f_1}{\partial x} = y ， \frac{\partial f_2}{\partial y} = -x, 同一次迭代中我们用 x-\eta \cdot y 更新 x ， 用y+ \eta \cdot x 更新y ， 每一次x和y有不同的符号，每次梯度更新都会引起巨大的振荡，并且不稳定性会随着时间的推移而恶化，如图所示。在上面的公式中, \Pi(p_r, p_g) 是所有p_r 和p_g可能的联合概率分布的集合。根据公式，很明显KL散度是不对称的
