https://arxiv.org/abs/2103.14030 Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsThis paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such asarxiv.org이번 포스팅은 2021 ICCV에 accept된 Sw..

AbstractQ-Learning algorithm의 경우 특정 조건에서 action value를 과대평가하는 것으로 알려져 있다.https://arxiv.org/abs/1312.5602 Playing Atari with Deep Reinforcement LearningWe present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose inp..

Atari가 무엇일까? Atari는 비디오 게임 회사이다.그럼 어떻게 강화학습 [Reinforcement Learning]에 Atari가 도입되게 되었을 까?2013년 구글 Deepmind에서 발표한 Playing Atari with Deep Reinforcement Learning 이라는 논문이 등장하면서 시작되었다. 이 논문을 통해 보이고자 한 것은 Breakout (a.k.a 벽돌깨기) 게임을 강화학습을 통해 학습을 시켜서 인공지능이 스스로 벽돌을 깨부수는 것을 확인하고자 함이였다. 특히나 이 모델의 경우 Deep 이라는 단어에서 알 수 있듯이 딥러닝을 강화학습에 적용시킨 모델이다. DQN이라고 불리는데, 강화학습 중 하나인 Q-Learning에 Deep Learning을 접목시켜서 더 효율적인 학..

논문 출처https://arxiv.org/abs/2111.06377 Masked Autoencoders Are Scalable Vision LearnersThis paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pixels. It is based on two core designs. First, wearxiv.orgAbstract이 논문에서는 MAE [Masked Autoencoder]가 comput..