作者出生即先天性嗅觉缺失,无法直接体验气味,但想通过构建系统来解释气味。其灵感源于相关论文,使用句子嵌入而非词嵌入,从获取词嵌入开始探索向量加法和旋转来修改和解释嵌入。
- 背景与基础代码:通过
OpenAI
获取各种词的嵌入,如king
等,定义余弦相似度和欧氏距离的计算函数。 - 向量偏移与加法示例:尝试通过“Queen”向量加上“man - woman”的性别偏移来得到“King”向量,发现结果与预期不符,向量距离和角度变化都不符合,且偏移向量的幅度与到达“King”向量的距离大致相同,但方向错误。
- 余弦相似度与性别偏移:计算各种性别相关向量的余弦相似度,发现这些偏移向量指向不同方向,如“son - daughter”与“steward - stewardess”差异较大。
- 旋转操作:认为使用向量加法分析奇怪,尝试沿“man”和“woman”向量创建的平面旋转“queen”向量,发现旋转后向量更接近目标,但仅移动了约 0.07 弧度(4 度),对其他性别相关标题也有类似结果,且求和向量在每种配对中都更差,旋转向量在编码性别方面有一定作用但改进很小。通过优化旋转角度,发现平均优化角度与“man”和“woman”向量之间的角度相似,优化后的旋转向量在一些情况下改善了相似度,但在其他情况下则不然。
- 平面相似性检查:计算不同向量对的平面相似性,发现它们并不对齐。
- 其他概念的旋转测试:将旋转策略应用于其他概念,如“parent/child”等,发现除“Positive/Negative”外,其他概念的旋转大多弊大于利。
- 总结与局限性:此探索虽未成功,但知道词嵌入的向量加法解释不一定适用于句子嵌入,且存在局限性,如不知这些学习结果是否适用于所有模型,平均向量可能会有更好结果但并非万能。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。