作者画了六张词表地图,把每个词钉成一座城,意思相近的连成街道。地图画得极认真,还发现训练出来的地图比随机的更碎,这碎片是学出来的【直引】。
然后他把模型写字的路线描上去。你猜怎么着?相邻两个词,极少是地图上的邻居,多数模型里跟把顺序打乱了没区别【直引】。词落在地图范围内,路却不是沿街道走的。地图是对的,走路的方式是另一回事。【判断】
这里有个陷阱:"词嵌入是一张语义地图"这句话太顺耳,顺耳到你会以为生成就是在地图上逛街。类比用久了会冒充解释。真正的发现恰恰在类比失效的那一块:模型在地图里,但不在路上。就这么回事。