[부스트캠프 AI Tech] 딥러닝 Historical Review

• Good deep learner?
  - 구현 능력
  - 수학적 능력
  - 최신 논문 많이 알기

 

 

• 딥러닝 큰 그림

출처 부스트캠프 AI Tech

 - 인공지능: 사람의 지능을 본 뜬 것

 - 머신러닝: 인공지능 중에서 데이터 기반으로 접근하는 것

 - 딥러팅: 머신러닝 중에서 신경망을 사용하는 것

 

 

 

• 딥러닝의 4요소
  ⊙ 모델이 학습할 수 있는 데이터
  ⊙ 데이터를 변환시켜주는 모델
  ⊙ 모델의 성능을 수치화하는 loss function
  ⊙ loss를 최소화하는 방향으로 파라미터를 조정하는 알고리즘

 

 

• 데이터 : 풀고자 하는 문제에 따라 의존적
  Classification
  Semantic Segmentation
  Detection
  Pose Estimation
  Visual Q&A

 

• 모델
  AlexNet, GoogLeNet, ResNet, DenseNet, LSTM, DeepAutoEncoders, GAN

 

• Loss
  MSE, CE, MLE

 

• Optimization Algorithm
  Dropout, Early stopping, k-fold validation, Weight decay, Batch normalization, MixUp, Ensemble, Bayesian Optimization.

 

• Historical Review
  2012 - AlexNet : Convolution neural network, 딥러닝이 주목을 받게 한 계기
  2013 - DQN : 강화학습 방법론을 딥러닝에 접목
  2014 - Encoder/Decoder : 기계화 번역의 흐름을 바꿈
  2014 - Adam Optimizer
  2015 - GAN(Generative Adversarial Network)
  2015 - Residual Network(ResNet) : 이전보다 층을 더 많이 쌓게 하는 계기가 된 모델
  2017 - Transformer
  2018 - BERT
  2019 - Big Language Models(GPT-X)
  2020 - Self Supervised Learing