1주차 1-3) Basic Recipe for Machine Learning

공부한 내용 작성입니다. 틀린내용 많습니다. 지적해주시면 감사드리겠습니다.

----------

 

 

high bias이면 hidden layer 또는 hidden unints을 증가시키거나 학습을 더 오래시키는 방법이 있고, (될수도 있고 안될수도 있고) 새로운 신경망 구조를 찾는 방법이 있다고 한다. ( 완전이 갈아 버리고 새로 다시 짜라는 말인가?)

더 큰 네트워크를 갖추는게 가장 도움이 된다고 한다. 이때는 데이터를 추가로 더 수집해도 도움이 안될것이다. 

 

high bias가 해결되었다면, 그다음은 high variance에 문제가 있는지 확인한다. 더 많은 데이터를 수집하는게 가장 좋은 방법이다. 또는 Regulariztion 방법이 가장 좋다 (추후 강좌 설명) 또는 (될수도있고 안될수도있고) 다시 짜란다.

 

여기까지하면 다시 bias로 돌아가서 다시 체크해본다. 

딥러닝 초창기에는 bias를 높이면 variance가 떨어지고 둘중 하나의 희생이 있었는데 딥러닝이 발전하면서, 큰 네트워크를 구성하거나, 빅데이터로 많은 데이터를 얻으면서 딥러닝을 잘 적용할 수 있다.