上篇中，我们详细讲述了信息熵的含义，我们了解到，当每个p越相近时，信息熵越大。实际上这说的是：当一个分布越接近均匀分布时，信息熵越大，而一个均匀分布的信息熵则达到最大值。

背景：调研了一些信息熵相关的知识，整理成博客。如有错误，欢迎留言/私信指正。定义信息熵由信息论之父香农于1948年提出，定义为：$$ H = -\Sigma p \cdot \log_2(p) $$上式中，p是概率/频率，H是信息熵。（信息熵在小时百科中的简介：[链接]，小时百科是博主无意间发现的一个wiki网站，觉得很有趣，支持一下。）理解很...

背景：Transformer诞生于NLP，自大模型热潮以来，Transformer也被大量研究者应用于视觉领域。笔者主要从事视觉领域的算法研发，为了解Transformer的结构、优势等，阅读和调研了一些以往鲜少了解的RNN、时序处理、语音处理等领域的资料，结合自己的思考谈谈对Transformer结构的理解，如有错误，欢迎留言/私信指正。

背景： 因项目需要，调研了动态交通分配（Dynamic Traffic Assignment）的一些知识和概念，并在公司内部做技术分享，这里把涉及公司项目相关的内容去掉，将调研到的知识做小结成文。非交通专业出身，若有错误，欢迎私信/评论指正。