Ten Trends in NIPS(Neural Information Processing Systems) 2015 Conference

1. Neural network architectures are getting more complex and sophisticated.

 

: 대상 인식과 언어 번역 등 대부분의 분야에서 최신의 convolutional architecture는

  단순한 feed-forward구조에서 벗어나 점점 복잡해지고 있다.

  특히 서로 다른 기법들을 혼합하여 작업을 수행하는 경향이 강해지고 있다.

 

2. All the cool kids are using LSTMs.

 

: 최신의 연구자에게 LSTMs(Long short term memorys)를 사용하여 반복되는 구조를 찾는 것은

  표준적인 방법론이 되어가고 있다.

 

3. Attention models are showing up.

 

: 모든 neural network에서 사용하는 것은 아니지만

  focus 개념을 채용한 model들이 여기저기에서 눈에 띄기 시작하였다.

 

4. Neural Turing Machines remain interesting but aren't being leveraged yet for real work.

 

: Neural turing machine은 여전히 인상적인 주제이지만 아직 제대로 된 성과를 내지 못하고 있다.

  이 주제는 여전히 지나치게 복잡하여 몇몇 의미없는 간단한 문제(Toy Problem)에만 사용할 수 있다.

 

5. Computer vision and NLP aren't separate silos anymore — deep learning for computer vision and NLP are cross-hybridizing each other.

 

: NLP(Natural Language Processing)에 먼저 도입되었던 LSTMs이나 sequence to sequence와 같은 기법들을 Computer vision 분야에서도 받아들이면서 이들은 거의 같은 시스템을 채용하게 되었다.

 

*주인장 주:

 NLP: Natural Language Process, 즉, 자연어 처리

 

6. Symbolic differentiation is becoming even more important.

 

: 다양한 모델에서 back propagation을 수행하기 위해서

  symbolic 연산으로 differentiation을 계산하는 기술들이 점점 더 중요해지고 있다.

 

7. Surprising results are happening with neural network model compression.

 

: 여러 팀에서 network 압축과 관련해서 놀라운 성과를 보여주었다.

이들은 binarization, fixed floating point, iterative pruning and fine tuning step 등을 사용하여 학습에 필요한 weight의 개수를 줄이는데 성공하였는데 당장 이를 이용한 결과물은 나오지 않았지만 이러한 기법들로 휴대용 기기에 deep learning의 성과를 적용할 수 있는 길이 열리게 되었다. 다음 conference에서 이들의 성과가 기대된다.

 

8. The intersection of deep and reinforcement learning continues.

 

: 비록 Deep learning conference에서 reinforcement learning 관련은 언급되지 않았지만 reinforcement learning에서는 deep learning에 관련된 기법들을 적극적으로 채용하며 성과를 내고 있다.

 

9. If you aren't using batch normalization you should.

 

: Batch normalization 기법은 이미 neural network에서 당연히 사용되는 표준적인 기법이 되었다.

 

10. Neural network research and productionisation go hand in hand.

 

: 누군가 새로운 기법을 시도한다면

  library의 공유를 통해서 다른 연구자들이 여러 가지 언어와 기기로 그 작업을 옮기며

  그 결과를 바로 현장에 적용하려고 시도할 것이다.

 

* 주인장 주:

  Productionisation: 생산 과정에서 Proto type model을 대량 생산가능한 모델로 바꾸는 작업