long-term time series forecasting (LTSF) 과제에서 Informer와 같이 Transformer 기반 모델이 실제로 효과적인지 살펴보고 간단한 선형 및 분해 모델로도 높은 성능을 낼 수 있다는 LTSF-Linear: Are Transformers Effective for Time Series Forecasting? 논문을 소개하고자 합니다. CONCEPT 본 논문은 트랜스포머 모델이 명확한 추세와 주기성을 지닌 장기 시계열 예측에 정말 효과적인가에 대한 질문으로부터 시작합니다. LTSF 과제에서는 시간적 변화를 모델링하는데 주 목적을 두기 때문에 시간 순차성 정보가 예측에 있어 가장 중요한 역할을 하게 됩니다. 트랜스포머의 경우 이런 시간 순차성 정보를 보존하기 위해 위치 ..

Tabular data에서 우수한 성능을 냈던 Tree based ensemble Model의 특징을 딥러닝에 적용하기 위한 TabNet: Attentive Interpretable Tabular Learning 논문을 소개하고자 합니다. CONCEPT 현실 세계 데이터는 딥러닝에서 가장 일반적으로 사용되는 정형 데이터임에도 불구하고 1) 빠르게 개발할 수 있고, 2) 성능이 우수하며, 3) 높은 해석력을 가지고 있는 트리 기반 앙상블 모델들로 문제를 해결하고 있습니다. 논문 저자는 트리 기반 앙상블 모델들이 딥러닝에 비해 정형 데이터에서 학습에 보다 논리적이고 합리적인 접근 방법이라고 소개합니다. 왜냐하면 일반적으로 관측되는 정형 데이터는 대략적인 초평면(hyperplane) 경계를 지니고 있는 매니폴..

Generative Adversarial Nets_GAN_(CODE) : 2014년 공개된 GAN(Generative Adversarial Nets) 기반 Conv를 사용한 DCGAN 구현 : Python Version: 3.6.8, tensorflow Version: 2.4.0 사용 GAN(generative Adversarial Nets_Overview today-1.tistory.com/46 Generative Adversarial Nets_GAN_(Overview) Generative Adversarial Nets_GAN_(Overview) : 2014년 공개된 GAN(Generative Adversarial Nets) 논문 리뷰를 진행 : 개념을 설명하는 Overview와 Tensor 2.0 구..

Generative Adversarial Nets_GAN_(Overview) : 2014년 공개된 GAN(Generative Adversarial Nets) 논문 리뷰를 진행 : 개념을 설명하는 Overview와 Tensor 2.0 구현 Code 2개 챕터로 소개 Generative Adversarial Nets 논문 링크 arxiv.org/pdf/1406.2661.pdf Generative Adversarial Nets Tutorial 링크 arxiv.org/pdf/1701.00160.pdf 1. Concept : 생성모델(G)은 학습 데이터를 학습하여 학습 데이터의 분포를 따르는 유사한 데이터를 생성하는 모델 : Markov decision process, VAE, Bayesian Network, G..