영덕의 연구소

2015년 12월 Quora 글https://www.quora.com/What-is-the-vanishing-gradient-problem 의 번역 글쓴이 Nikhil Garg - Quora 엔지니어링 매니저 Vanishing Gradient Problem(기울기값이 사라지는 문제)는 인공신경망을 기울기값을 베이스로 하는 method(backpropagation)로 학습시키려고 할 때 발생되는 어려움이다.특히 이 문제는 네트워크에서 앞쪽 레이어의 파라미터들을 학습시키고, 튜닝하기 정말 어렵게 만든다. 이 문제는 신경망 구조에서 레이어가 늘어날수록 더 악화된다. 이것은 뉴럴 네트워크의 근본적인 문제점이 아니다. 이것은 특정한 activation function를 통해서 기울기 베이스의 학습 method를 ..

텐서플로우는 현재 가장 범용적으로 사용되는 딥러닝 프레임워크이다. [장점]1. 텐서 보드(TensorBoard) : 가장 많은 사람들이 압도적으로 텐서플로우를 지지하는 이유라고 볼 수 있다. 텐서 보드를 통해서, 파라미터의 변화 양상이나 DNN에 대한 구조도를 그려줌으로써 Tensor들과의 연결관계, Tensor의 Flowing Status 를 잘 보여주는 것이 매력이라고 한다. - Logging events interactively 리눅스에서 tail -f 과 같은 명령으로 로그파일을 체크하듯 마찬가지로 Logging events를 통해서 할 수 있다. 2. 구글 소프트웨어 전문가들의 작품 : 애초에 산업용으로 만들어진 프레임워크이며, 구글에서 공식 릴리즈하였기 때문에, 그 전문성이 보장된다고 할 수 ..

[Evaluating a Learning Algorithm]1. Deciding What to Try Next - Week6까지 왔다면, 스스로를 머신러닝 전문가라고 불러도 무방하다. 이어지는 강의는 이후 어떻게 나아가야할 지 제시함 - 모델 트레이닝하는데, 무작정 데이터를 모으기만하는 것은 그렇게 큰 도움이 되지 않는다. 그것을 보일 것임 - 만약, hypothesis를 세우고 나서, 테스트를 했는데 예측 성능에 큰 에러를 보였다. 그래서 디버깅을 해야되는데 어떻게 할까? - training example들을 더 모은다. - feature 셋을 좀 줄여서 overfitting을 막는다. - 의미가 있는 feature들을 추가한다.(기존의 feature들이 not informative 하다는 전제) - ..

출근 시간 : 자의 반 타의 반으로 출근 시간을 매우 앞당기게 되었다. 평소 생활 사이클은 10시 기상, 11시 출근 5~8시 퇴근, 2~3시 취침이었는데, 일단 7시, 늦어도 8시 기상하여 9시 이전에 출근하기로 했다. 개인 일과 체크 시트.PNG 습관화가 되려면 최소 21일은 연속적으로 해야한다고 하지만.. 주말이라는 불연속 구간이 발생하는데다가, 실제로 습관을 만들기 위해 30일 이상 지속한 일도 습관화가 되지 않았기 때문에 일단 무신경하게 맞추어 일어날 수 있도록 계속 신경써야 할 것 같다. [특징] - 비교적 조용히 일정을 어레인지 하면서 하루를 시작할 수 있다 - 시간 활용을 집약적으로 하게 된다 => "이거 이따 그냥 새벽에 하지 뭐~" 가 불가능 - 똑같은 시간을 사용하더라도 아침과 새벽의..

(미국 - 브룩클린 식물원) 반갑습니다. 저는 제 개인 블로그인 '영덕의 연구소'를 운영하고 있는 영덕입니다. 제가 컴퓨터를 전공하는 대학원생이기에 주된 주제는 제가 흥미롭게 공부하는 주제라던지 생활 속의 인사이트 등을 다루고 있습니다. 처음으로 티스토리 초대장을 나눔을 진행합니다. 저도 생각해보니 티스토리를 처음 접할 때 이리저리 초대장 나눔 글에 응모했던 기억이 있습니다.그리고 운영을 하다 어느 순간 접게되었는데, 가장 큰 이유는 투데이 수의 급격한 하락이었어요.저는 네이버 블로그와 티스토리, 이글루 등 블로그를 4개 이상 운영해보았는데요.사실 운영하는 입장에서는 알게 모르게 투데이 수에 상당히 집착하게 되는 것 같습니다. 하지만, 투데이 수와 상관없이 제일 중요한 것은 역시 꾸준함 같아요..(자신에..

신림고등학교 정문 - 신토익 체험하러.. 잘 기억은 안나지만 최근에 어떠한 영상에서 '급한 일이 아닌 중요한 일을 먼저 해라'라는 말을 듣고 곰곰히 생각해보았다. 나는 어떤 일을 해야 할 때 우선순위를 정해두고 하는 편이고, 보통 그 스케줄링은 급한 것을 우선으로 처리한다.급한 것이 우선이기 때문에 그야말로 사는대로 생각하게 되는 타입인 것 같다.그래서, 요즘은 일을 하기전에 계획을 짜고 하는 편이지만, 그 역시 급한 일이 닥치면 하나의 병목이기에 계획단을 최소화하게 되고 결국 급한 일을 하게 된다. 생각에 앞서 논리적인 관계를 생각해보자. 급한 일이 항상 중요한 일인가?급하다는 것은 시간적인 제한이 있다는 점이니 정량적이라고 쳐도, 중요한 일에서 '중요'라는 것이 정성적인 지표이다.대략 구체화해보자면,..

[Logistic Regression] 굉장히 인기있고, 널리 쓰이는 모델 [Classification and Representation]1. Classficiation - Classification은 binary / multiclass 가 가능한데, 지금은 {0, 1} 로 표현할 수 있는 binary classficiation을 다룸 - linear regression에 threshold classifier output을 적용하는 예를 생각해보자. 만약 h(x) 가 있을 때, 어떤 값 a를 기준으로 그 이상이면 1 아니면, 0으로 구분하여 classification을 할 수 있다. 하지만, 만약 example data가 추가된다면 linear regression의 h(x)가 변화할 수 있고 이러한 변화..

[Multivariate Linear Regression]1. Multiple Features - 이전 시간까지는 variable이 1개, 2개인 것만 봤는데, 조금 더 변수가 많은 multiple featrue 모델을 보자 - n = number of features 이며, x^(i) = input of i_th training example. 만약 x^2라면 2번째 training example의 variable들이며 이는 n by 1 vector로 표현됨 - linear regression에서 x0, 즉 x_0^(i)는 1로 정의한다 - 이 경우, h함수는 0부터 n까지, n+1개의 feature로 이루어진 x벡터 그리고 n+1개의 θ로 이루어진 θ벡터의 inner product로 표현할 수 있다 ..

얼마전 신천역에 한 양꼬치 집을 갔는데, 비싸긴 아주 비싸고 덥고 서비스 없고 덥고 양도 적고 더운 그런 곳이었기에.. 너무 큰 실망을 했다.그래서 이번엔 제대로 된 것으로 입맛을 좀 정화하고 양껏 먹어보자는 생각에 이곳저곳 찾아보다가.. 어쩌다가 얻어걸린 양꼬치 집이었는데, 거의 35분 정도를 서서 기다렸지만 너무 만족스럽게 먹고 나온 양꼬치 집을 소개한다.가면, 예약판이 있기 때문에 이름을 적고 대기하면 된다.사장님이 중국인이라고 했던 것 같은데, 그래서 주문 들어가는 소리가 전부 중국어이다. 스허오 칭따오 량꺼~(4번에 칭따오 2병) 전체적으로 심각하게(?) 저렴한 메뉴들. 很好 ! 시작하자마자 그냥 세팅되는 꼬치들. 두 당 12000원에 무한리필이다.꼬치가 양꼬치 외에도 장어(가시 있는데 먹을만 ..

Caffe는 딥 뉴럴 네트워크를 트레이닝하여 모델을 만들고 해당 모델에 대해 테스트 및 검증을 할 수 있도록 잘 만들어진 딥러닝 프레임워크이다.버클리 비전 & 러닝 센터(BVLC)에서 제작하여 배포하고 있다.BVLC : http://caffe.berkeleyvision.org/ Caffe를 설치 및 테스트 해볼 요량으로 잠깐 건들였다가 꽤 많은 시간을 디버깅에 투자하게 되어, 설치하려는 다른 연구자와 미래의 나를 위해 포스팅을 남긴다.본 포스팅은 Caffe 설치와 해당 예제(LeNet을 이용한 Mnist 이미지 데이터 학습)를 돌려보는 것까지에 대한 이슈를 해결한 것에 대한 문서다. 특별히 configuration이 필요없는 경우 설치는 아래의 링크를 따라하면 충분히 잘 설치될 수 있다.Caffe Ins..