前言 本文介绍一种新的tokens-to-token Vision Transformer(T2T-ViT)，T2T-ViT将原始ViT的参数数量和MAC减少了一半，同时在ImageNet上从头开始训练时实现了3.0%以上的改进。通过直接在ImageNet上进...
前言 ViT通过简单地将图像分割成固定长度的tokens，并使用transformer来学习这些tokens之间的关系。tokens化可能会破坏对象结构，将网格分配给背景等不感兴趣的区域，并引入干扰信号。 为了缓解上...
