技术教程 编程教程 CvT: Introducing Convolutions to Vision Transformers-首次将Transformer应用于分类任务 正文

CvT: Introducing Convolutions to Vision Transformers-首次将Transformer应用于分类任务

2023-03-14,,

CvT: Introducing Convolutions to Vision Transformers

Paper：https://arxiv.org/pdf/2103.15808.pdf

Code：https://github.com/rishikksh20/convolution-vision-transformers/

Motivation：在相似尺寸下，VIT的性能要弱于CNN架构；VIT所需的训练数据量要远远大于CNN模型

CvT将卷积引入Transformer，总架构是一个multi-stage的hierarchical的结构：

首先embedding的方式变成了卷积操作，在每个Multi-head self-attention之前都进行Convolutional Token Embedding。其次在 Self-attention的Projection操作不再使用传统的Linear Projection，而是使用Convolutional Projection。

Linear Projection->convolutional Projection

（c）这一步可以补偿分辨率下降的损失

为什么不用位置编码：卷机操作的zero-padding暗含位置信息

CvT: Introducing Convolutions to Vision Transformers-首次将Transformer应用于分类任务的相关教程结束。

《CvT: Introducing Convolutions to Vision Transformers-首次将Transformer应用于分类任务.doc》

下载本文的Word格式文档，以方便收藏与打印。

Copyright 2023. 昆居客 - IT编程,互联网信息技术文档大全!