在David Ha 与 Douglas Eck合作的论文《A Neural Representation of Sketch Drawings》中,研究者设计了一个名为“sketch-rnn”的生成式 RNN,它能够用简单的笔触描绘出日常物体,系统旨在训练机器如何像人类一样提炼事物的抽象概念。
研究者在一个手绘sketches数据集中进行训练,控制提笔落笔的时间及方向,进而创造一个具有可观前景的应用:不仅能帮助艺术家迸发艺术灵感,还能教授学生绘画的基本技巧。采用128×128ImageNet数据集训练的GANs模型,可能会产生像上图这样的诡异情况。
鉴于采用神经网络之时,生成模型用于训练的图像过多,图像以2D像素的点阵图来构建。而由于它所具有的高解析度,这些模型很容易会生成一些连续的图像结构,比如会画出三只眼睛的猫,或是几个头的狗。
模型通过训练人类所画的小猫简笔画而重构的图画。值得强调的是,模型并不是简单地照猫画虎,而是学习了输入特征后,重新按照理解再画图的。也就是说,模型是学会了“画猫的方式”后,根据自己的理解再作图的。比如,当研究者故意画了一个三只眼睛的猫作为输入,模型基于对常识的认知,生成的依然是两只眼的猫。
为了拓宽系统认识物体的多样性,研究者加入了迥然不同的内容,比如一把牙刷。从图中可以发现,系统依然将牙刷抽象成了一只猫的样子(比如尖耳朵和触须)。这一结果表明,神经网络已经学会了从输入中抽象出猫的概念,也能根据隐向量重构新的简笔画。