该技术的核心是一种使用时间换空间的策略。在现有的许多方法中被大量使用，例如 DenseNet、Swin Transformer 源码中都可以看到它的身影。

PyTorch 使用中，由于显卡显存是固定的，并且短期内难以进一步提升，所以掌握显存具体占用的细节有助于我们写出更加高效的代码，甚至跑出更好的结果。

粗看: [链接](CVPR 2018) [Grouped Shift] Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions:

affine 设为 True 时，BatchNorm 层才会学习参数 gamma 和 beta，否则不包含这两个变量，变量名是 weight 和 bias。

关于 barrier 这个概念可以参考 Wiki 中的介绍：同步屏障(Barrier)是并行计算中的一种同步方法。对于一群进程或线程，程序中的一个同步屏障意味着任何线程/进程执行到此后必须等待，直到所有线程/进程都到达此点才可继续执行下文。

one-hot 形式的编码在深度学习任务中非常常见，但是却并不是一种很自然的数据存储方式。所以大多数情况下都需要我们自己手动转换。虽然思路很直接，就是将类别拆分成一一对应的 0-1 向量，但是具体实现起来确实还是需要思考下的。实际上 pytorch 自身在nn.functional中已经提供了one_hot方法来快速应用。但是这并不能影...

原始文档：[链接]ICLR 2020的文章.针对长尾分布的分类问题提出了一种简单有效的基于re-sample范式的策略.提出的方法将模型的学习过程拆分成两部分:_representation learning_ 和 _classification_.对于前者, 则将完整的模型在原始的数据分布上进行训练, 即instance-balanced (natural) sampling, 从而学习_the best and ...

偶然间从 arxiv 上翻到的论文, 可以看做是对之前工作 Hierarchical multi-scale attention for semantic segmentation 的一个扩展.

Mixture-of-Experts (MoE) with sparse conditional computation has been proved an effective architecture for scaling attention-based models to more parameters with comparable computation cost. In this paper, we propose Sparse-MLP, scaling the recent MLP-Mixer model with sparse MoE layers, to achiev...

Vision MLP 之 S2-MLP V1&V2 : Spatial-Shift MLP Architecture for Vision原始文档：[链接]这里将会总结关于 S2-MLP 的两篇文章。这两篇文章核心思路是一样的，即基于空间偏移操作替换空间 MLP。从摘要理解文章V1Recently, visual Transformer (ViT) and its following works _abandon the convolution and exploit...

This paper presents a simple MLP-like architecture, CycleMLP, which is a versatile backbone for visual recognition and dense predictions, unlike modern MLP architectures, e.g., MLP-Mixer, ResMLP, and gMLP, whose architectures are correlated to image size and thus are infeasible in object detectio...

For the past ten years, CNN has reigned supreme in the world of computer vision, but recently, Transformer is on the rise. However, the quadratic computational cost of self-attention has become a severe problem of practice.

This paper presents Hire-MLP, a simple yet competitive vision MLP architecture via hierarchical rearrangement.

Learning to Promote Saliency Detectors [链接] 缩写标注: SD: Saliency Detection ZSL: Zero-Shot Learning 关键内容: 没有训练直接将图像映射到标签中的DNN。相反，将DNN拟合为一个嵌入函数，以将像素和显著/背景区域的属性映射到度量空间。显着/背景区域的属性被映射为度量空间中的锚点。然后，在该空间中构造最近邻...

很有意思的一个编程环境。以简化了的Java来实现图像绘制和设计的工作。其中蕴含着的数学物理知识，让我感受到了不同学科之间关联的一条若有若无的连线。

学生 python、r推荐至少 3 款你觉着是神器的工具。。。 额... 我只重点介绍一样好不好？(当然，开头也提到了另一个利器ALTRun。。。贴一张你工位的高清无码图。这个。。。我会说还没毕业么。。。

主站：[链接] 之前一阵子，在EDX上学习了R语言的一门基础课程，这里做个总结。这门课程主要侧重于R的数据结构的介绍，当然也介绍了它的基本的绘图手段。 工作空间相关 {代码...} 基本数据类型 logical TRUE/FALSE/NA/T/F(推荐使用完整形式)/某些时候的0与非0 numeric integer is numeric numeric not always integer cha...

对之前我的那个豆瓣的短评的爬虫，进行了一下架构性的改动。尽可能实现了模块的分离。但是总是感觉不完美。暂时也没心情折腾了。 同时也添加了多线程的实现。具体过程见下。 改动 独立出来的部分： MakeOpener MakeRes GetNum IOFile GetSoup main 将所有的代码都置于函数之中，显得干净了许多。(^__^) 嘻嘻…… 使用直接...

本文参考较多，原创基本没有，权当知识归纳。xpath并不复杂，简单的使用看完之后，及时查阅文档也是可以写出来的。这里放上我的练手文件，大家可以参考，或者挑毛病(^__^) 嘻嘻……xpath练手项目

在之前的三篇文章中，我尝试了使用python爬虫实现的对于特定站点的《剑来》小说的爬取，对于豆瓣的短评的爬取，也有对于爬取的短评数据进行的词云展示，期间运用了不少的知识，现在是时间回顾一下。在此之后，我会再关注一些爬虫框架的使用，以及更多的爬虫的优化方法，争取做到尽量多的吸收新知识，巩固旧知识。

在之前的文章中，我们获得了豆瓣爬取的短评内容，汇总到了一个文件中，但是，没有被利用起来的数据是没有意义的。 前文提到，有一篇微信推文的关于词云制作的一个实践记录，准备照此试验一下。 思路分析 读文件 利用with open() as...将文件读进来。这里需要注意文件内容的大小。 分词 由于获取的是大量的短评文字，而制...

豆瓣上有着大量的影视剧的评论，所以说，要是想要实现对广大人民群众的观点的分析，对一部片子的理解，综合来看大家的评论是很有必要的。而短评作为短小精干的快速评论入口，是值得一谈的。

纪念我的第一个爬虫程序，一共写了三个白天，其中有两个上午没有看，中途遇到了各种奇怪的问题，伴随着他们的解决，对于一些基本的操作也弄清楚了。果然，对于这些东西的最号的学习方式，就是在使用中学习，通过解决问题的方式来搞定这些知识。按需索取，才能更有针对性。

想更改这些信息时，可以直接编辑这个设置文件。这里设置的姓名和邮箱地址会用在 Git 的 提交日志中。由于在 GitHub 上公开仓库时，这里的姓名和邮箱地址也会随着提交日志一同被公开，所以请不要使用不便公开的隐私信息。

集中型将所有数据集中存放在服务器当中，有便于管理的优点。但是一旦开发者所处的环境不能连接服务器，就无法获取最新的源代码，开发也就几乎无法进行。服务器宕机时也是同样的道理，而且万一服务器故障导致数据消失，恐怕开发者就再也见不到最新的源代码了。

C++的设计者本贾尼·斯特劳斯特卢普对类和继承给予了正面肯定，然而，“面向对象”这个词的发明者艾伦·凯（Alan kay，他同时也是 Smalltalk 语言的设计者）却持有不同的意见，他对类和继承持否定立场。

在不同的语言中，容器的名称不同，性质各异。比如，C 语言中的数组、LISP 语言中的列表、Python 语言中的元组以及 Ruby 语言中的数组。即使是名字相同，在不同语言中表达的意思也可能不一样。比如，LISP 语言和 Haskell 语言中的列表，与 Java 语言和 Python 语言中的列表在内部构造上完全不同。

我们知道，计算机将数据存储到对应的物理内存中去。我们的操作就是基于数据的。我们需要使用这些数据，所以一个问题就是如何寻找到这些数据。一个较为直接的方式就是为它起个名字。

具体的知识只能应对特定的具体环境，而面对瞬息万变的世界，唯有抽象出来的 元知识才能真正起到作用。具体的知识在特定的环境下可以快速提升你的工作效率，但是环境一变，这种知识就无法使用。而抽象的 元知识， 也需要与具体的实践相结合，才能在实际应用中发挥价值。实践是检验真理的唯一标准。这是毋庸置疑的。

Perl的设计者：Larry Wall在《Programming Perl》中提出，优秀的程序员有三大美德：懒惰，急躁和傲慢。 懒惰是因为为减少总的能量支出而不遗余力的努力。 急躁是因为无法忍受程序执行的低效。 傲慢是因为容不下错误。 语言的诞生 程序设计语言的出现就是为了解决各种各样的问题，而这些问题以现在的语言是无法更合适的处...