규링링링

지난번에는 batch normalization을 봤는데 이제는 적용 시키는걸 본다. z[1]까지 계산을 하고 batch normalization(BN)을 적용한다. (파라미터는 감마[1], 베타[1]) 그다음 activation을 적용한다. 그다음 z[2]도 한다. 그러면 파라미터는 w[1] [b1]~ w[L] b[L] 이랑 베타[1] 감마[1] ~ 베타[L] 감마 [L]이 있다. (모멘텀의 베타와 완전 다름) 거기서 이제 모멘텀이나 gradi~ descent를 이용해서 베타를 업데이트 할 수 있다. 그리고 딥러닝에서는 저걸 하나하나 할 필요 없고 텐서플로우를 이용해가지고 tf.nn.batch_normalization으로 뚝딱 해결 할 수 있다. 현재까지는 전체 학습(배치)에서만 햇는데 미니 배치에서도 ..

한 분야에서 사용되는 하이퍼 파라미터는 다른 분야에서는 적용이 안될 수 있다. 그런데 몇몇 아이디어는 다른 분야에 도움을 줄 때도 있다. (스피치 분야 -> 자연어 처리) 데이터가 점차 바뀌거나 업데이트 과정을 통해서 하이퍼 파라미터를 변경해 줘야 할 때가 있다. 하이퍼 파라미터를 찾을때 크게 2가지 방법이 있는데. 1번째로는 1개의 모델을 babysit하는 것이다. 이것은 큰 데이터가 있지만 gpu나 cpu에 대한 자원이 없을때 사용되는 것으로 1개의 모델만 훈련시킬 수 밖에 없을 경우이다. (또는 아주 작은 수의 모델을 한번에 훈련할 수 밖에 없는 경우) 왼쪽 그림에서와 같이 day0에 해보고 다음날에 day0에 가진 데이터를 가지고 계속해서 전날에 했던 파라미터? 결과 값을 수정하면서 최소비용을 찾..

지난번에 임의의 값을 통해서 하이퍼 파라미터를 찾는것을 했는데 임의로 샘플링 하는것은 균등한 랜덤 값에서 값을 가져오는 것은 아니다. ( 글을 쭉 읽다보면 그림2에서 나오는데 learning rate를 0.0001~1로 할 때 0.1에서 1 사이에 좋은 값이 몰려있다.) hidden unit의 갯수를 l층에서 정한다고 해보자. 50~100이 좋은 범위라고 가정할때 이 사이의 값을 고르는게 좋은 방법이라고 할 수 있고, 또는 layers의 총 갯수가 2~4 라고 할때 2,3,4 값을 정하는게 가장 좋을 수 있다. 하지만, hidden unit 또는 layers 갯수처럼 쉽게 적용하기 힘든 하이퍼 파라미터도 있다. 알파 값이 0.0001~1 사이라고 할 때 거의 좋은 값들은 0.1~1 사이에 90%가 있을 ..

최적의 하이퍼 파라미터를 찾는 방법은 무엇일까? 에 대한 내용이다 learning rate의 알파값, momentum의 베타 값 adam에서의 (베타1, 베타2, 엡실론), layers의 층, hidden unit의 갯수, learning rate decay, mini-batch size 등 여러가지가 있다. (빨간색)일단 기본으로 learning rate를 가장 중요한 하이퍼 파라미터라고 할 수 있겠다. ->노란색 -> 보라색 마지막 베타1, 베타2, 엡실론은 거의 대부분 0.9, 0.999, 10^-8 정도의 값을 사용하고 있다. (원한다면 수정) 머신러닝 초기 파라미터 2개 있다고 할 때, 왼쪽 상단부터 하나씩 탐색하는 방법을 사용했다. (파라미터가 적으면 가능) 딥러닝에서 추천은 임의의 점을 찍어..