20, 시작, 새로운.

RNN 네트워크의 구조(간단 버전, 시그모이드 생략) Recurrent 하게 나타낼 수 있다. 아주 간단하게(LSTM, GRU 가 아닌) 표현하면, Hidden State를 저장하는 weight matrix W_h 가 Sequential input X_t에 recurrent 하게 적용되며, 해당 t time별로 Hidden State H_t가 기록된다. 아래와 같이 간단히 나타낼 수 있다. RNN 네트워크 함수로의 표현 H를 Hidden State로 표현하면 위와 같이 간단하게 표현할 수 있다. 마지막 Hidden state H_n의 경우, 그리고 RNN 이 Many-to-one classification에 사용된다면 H_n은 시그모이드 함수를 거친 뒤 predicted output Y_hat으로 계산되..

Gradient Descent란 경사 하강법을 의미하며, 딥러닝에서 regression/classification을 수행할 때 target과 예측된 값 사이의 loss function을 최소화하기 위해서 사용되는 개념으로, 함수의 기울기가 0이되는 지점을 구하는 데 사용되는 방법이다(변수들에 대한 편미분을 한다) 기울기가 0이 되는 지점이 무조건 최소 지점이냐? 라는 질문에 대답하는 것은 조금 다른 문제이지만(함수의 초기값 설정 및 추가 방법이 필요하기도 함), 궁극적으로 loss function을 최소화하여 성능을 올리는 데에 핵심적인 방법이다. 수치해석처럼 Gradient Descent 계산하기 미분의 원리를 이용해서 h를 아주 작은 수로 설정해둔 뒤, 반복한다 until 미분지점이 0이 되는 곳까지..

출처: https://school.programmers.co.kr/learn/courses/4008/lessons/13318 프로그래머스 강좌를 바탕으로 파이썬 코드를 작성할 때 유용하게 사용될 수 있는 함수들을 정리하였습니다. map() 함수 map(func, iter): 반복가능한 객체에 대해 given function을 적용하여 map object로 반환한다. func에는 int, str, list 등이 가능하며, custom 함수도 적용이 가능하다. iterable object에 반복적인 함수 적용이 필요할 때 사용하는 듯 하다. 리턴형은 map 객체이기 때문에, list 혹은 tuple로 변환시켜주어야 한다.loop 함수를 쓰는 것보다 빠르게 함수를 처리할 수 있으며, 메모리 사용량을 줄일 수 ..

필요한 개념 수학 선형독립, Span, 표준행렬, 부분공간, 계수, 벡터 AI Back propagation, Sigmoid, CNN 필터 연산, RNN 네트워크 구성, Pooling ? 정규화 방식, Gradient descent 종류 및 차이, overfitting & underfitting 보충 및 정리 수학 베이즈 통계학 조건부 확률 1종오류 = False Positive 2종 오류 = False Negative 질병이 아니다라고 판단했지만 실제론 질병인 경우. 암 환자 진단 시 False Negative를 더 신경써야 한다(줄여야 한다) 정밀도(Precision): TP/(TP+FP) 여기서 FP는 오탐지율(False positive)를 의미하며, 이를 줄일 경우 정밀도 상승. 민감도(Recal..