영덕의 연구소

2015년 12월 Quora 글https://www.quora.com/What-is-the-vanishing-gradient-problem 의 번역 글쓴이 Nikhil Garg - Quora 엔지니어링 매니저 Vanishing Gradient Problem(기울기값이 사라지는 문제)는 인공신경망을 기울기값을 베이스로 하는 method(backpropagation)로 학습시키려고 할 때 발생되는 어려움이다.특히 이 문제는 네트워크에서 앞쪽 레이어의 파라미터들을 학습시키고, 튜닝하기 정말 어렵게 만든다. 이 문제는 신경망 구조에서 레이어가 늘어날수록 더 악화된다. 이것은 뉴럴 네트워크의 근본적인 문제점이 아니다. 이것은 특정한 activation function를 통해서 기울기 베이스의 학습 method를 ..

텐서플로우는 현재 가장 범용적으로 사용되는 딥러닝 프레임워크이다. [장점]1. 텐서 보드(TensorBoard) : 가장 많은 사람들이 압도적으로 텐서플로우를 지지하는 이유라고 볼 수 있다. 텐서 보드를 통해서, 파라미터의 변화 양상이나 DNN에 대한 구조도를 그려줌으로써 Tensor들과의 연결관계, Tensor의 Flowing Status 를 잘 보여주는 것이 매력이라고 한다. - Logging events interactively 리눅스에서 tail -f 과 같은 명령으로 로그파일을 체크하듯 마찬가지로 Logging events를 통해서 할 수 있다. 2. 구글 소프트웨어 전문가들의 작품 : 애초에 산업용으로 만들어진 프레임워크이며, 구글에서 공식 릴리즈하였기 때문에, 그 전문성이 보장된다고 할 수 ..

[Evaluating a Learning Algorithm]1. Deciding What to Try Next - Week6까지 왔다면, 스스로를 머신러닝 전문가라고 불러도 무방하다. 이어지는 강의는 이후 어떻게 나아가야할 지 제시함 - 모델 트레이닝하는데, 무작정 데이터를 모으기만하는 것은 그렇게 큰 도움이 되지 않는다. 그것을 보일 것임 - 만약, hypothesis를 세우고 나서, 테스트를 했는데 예측 성능에 큰 에러를 보였다. 그래서 디버깅을 해야되는데 어떻게 할까? - training example들을 더 모은다. - feature 셋을 좀 줄여서 overfitting을 막는다. - 의미가 있는 feature들을 추가한다.(기존의 feature들이 not informative 하다는 전제) - ..

Caffe는 딥 뉴럴 네트워크를 트레이닝하여 모델을 만들고 해당 모델에 대해 테스트 및 검증을 할 수 있도록 잘 만들어진 딥러닝 프레임워크이다.버클리 비전 & 러닝 센터(BVLC)에서 제작하여 배포하고 있다.BVLC : http://caffe.berkeleyvision.org/ Caffe를 설치 및 테스트 해볼 요량으로 잠깐 건들였다가 꽤 많은 시간을 디버깅에 투자하게 되어, 설치하려는 다른 연구자와 미래의 나를 위해 포스팅을 남긴다.본 포스팅은 Caffe 설치와 해당 예제(LeNet을 이용한 Mnist 이미지 데이터 학습)를 돌려보는 것까지에 대한 이슈를 해결한 것에 대한 문서다. 특별히 configuration이 필요없는 경우 설치는 아래의 링크를 따라하면 충분히 잘 설치될 수 있다.Caffe Ins..