马尔可夫链比大型语言模型更有趣

主要观点:探讨马尔可夫链(Markov chain)、LLM(大型语言模型)与幽默的关系,通过举例说明马尔可夫链和ChatGPT生成内容的差异,强调幽默是可测量且与意料之外的惊喜有关,指出LLM在创意写作等方面的局限性,以及这一现象的趣味性。
关键信息:

  • 马尔可夫链是基于当前上下文预测下一个词的简单统计模型,类似手机键盘上的“下一个词建议”,运行成本低且易更新,在生成句子等方面不如LLM。
  • LLM是大型语言模型,有大量上下文,能找到最可能的下一个词,但缺乏语义等考虑,用于创意写作效果不佳,早期较有趣,随着系统进步幽默消失。
  • 幽默是关于不严肃的惊喜,好的笑话涉及愉快且重要的“snap”(意外感),可通过违反常见模式和增强“场景实现”来加强,且幽默具有主观性。
  • 与LLM交互时会出现其输出缺乏个性等问题,如ChatGPT的消息像高中作文,LLM检测模型需开始筛查个性。
    重要细节:
  • 举例说明马尔可夫链生成的句子语义奇怪,ChatGPT生成的句子更符合常规;如“12:2 And I will make all my goodness pass before thee, and our sins be upon us, because of our use of not and lisp-value.”是马尔可夫链结果,“In the beginning was the lambda expression, and the lambda expression was with Scheme, and the lambda expression was Scheme.”是ChatGPT结果。
  • 提到通过在非英语环境中用“no”以文化上意外的方式写笑话成功;还举例说明好的笑话写作与一般好写作的相似之处,如使用更原创或描述性语言增强场景实现。
  • 指出大型语言模型因有大量上下文和做最可能预测而更可预测,如在创意写作中容易被识别为生成内容,缺乏灵魂。
阅读 29
0 条评论