딥러닝관련94 GAN — Wasserstein GAN & WGAN-GP jonathan-hui.medium.com/gan-wasserstein-gan-wgan-gp-6a1a2aa1b490 GAN — Wasserstein GAN & WGAN-GP Training GAN is hard. Models may never converge and mode collapses are common. To move forward, we can make incremental improvements or… jonathan-hui.medium.com 위 내용을 참고하여 정리하였습니다. Earth-Mover(EM) distance/ Wasserstein Metric 왼쪽에 있는 박스들을 오른쪽으로 옮기려고 가정합니다. 1번 박스를 오른쪽 7번 location으로 옮깁니다. 여기서 moving cos.. 2021. 1. 18. DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks 논문 리뷰 - 기존 Vanilla GAN의 문제점은 mode collapse, vanishing gradients와 같은 문제점들이 존재 - GAN의 value function을 minimizing하는 것은 data와 모델 분포 $x$와의 Jensen-Shannon(JS) divergence을 minimizing 하는 것과 동일하다. ※ Jensen-Shannon divergence : 간단히 얘기하면 두 모델의 확률 분포 distance 그러나 vanilla GAN은 JS divergence으로 인해 GAN training의 어려움이 있다고 해서 나온 것이 Wasserstein distance 2021. 1. 18. ResNet Deep Residual Learning for Image Recognition 논문 정리 논문을 볼 때 항상 기존의 문제점이 무엇이었고 그 문제점를 어떻게 해결하였는지 파악하는 게 중요하다고 생각합니다. (제 자신에게 하는말...) 그렇다면 기존 네트워크(2015년 이전 기준)의 문제점들은 무엇이었기에 ResNet이 나오게 된 것인가? 기존 네트워크들의 문제점 ResNet 이전 논문들이 layer의 깊이를 깊게 해서 성능의 개선이 이뤄졌으므로, 단순하게 생각했을 때 layer의 깊이가 깊어질수록 더욱더 많은 feature들을 학습함으로써 training, testing error가 줄어들어야 된다고 생각하는데, 위 그림을 보면 layer의 깊이가 깊어질수록 error가 더 커지는 것을 알 수 있습니다. training 및 testing error → 56-layer > 20-layer : L.. 2021. 1. 15. Word2Vec https://better-tomorrow.tistory.com/entry/Word-Embedding 이후 내용 - 단어의 '의미'를 다차원 공간에 벡터화하는 방법을 distributed represenation ▶ dense vector 1. Distributed represenation - Distributional hypothesis라는 가정하에 만들어진 표현 방법 - 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다 - 강아지 ▶ 귀엽다 / 예쁘다 (강아지라는 단어가 뜨면 "귀엽다", "예쁘다" 라는 단어가 함께 등장) - 분포 가설에 근거 ▶ 저런 내용을 가진 텍스트를 벡터화하면 의미적으로 가까운 단어 - Distributional hypothesis을 이용하여 단어들의 셋을 학습 ▶여러 .. 2020. 7. 20. 이전 1 ··· 19 20 21 22 23 24 다음
