본문 바로가기

728x90

DL & ML/AI Math

(4)
모수적 방법론, 비모수적 방법론, 모수 추정 모수적(parametric) 방법론이란? 데이터가 특정한 확률분포(ex. 정규분포, 이항분포)를 따른다고 전제한 후, 그 분포의 모수에 대한 검정을 실시하는 방법 비모수적(nonparametric) 방법론이란? 데이터가 특정한 확률분포를 따른다고 전제할 수 없거나 모집단에 대한 정보가 전혀 없을 때 실시하는 방법 특정 확률분포를 가정하지 않고, 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀜 * 기계학습의 많은 방법론은 비모수 방법론에 속함 데이터로 모수를 추정해보자! 데이터의 확률분포를 가정했으면 모수를 추정해볼 수가 있음 잘 알고있는 정규분ㅍ의 경우 모수의 평균과 분산 추정량은 다음과 같음 $$\bar{X} = \frac{1}{N}\sum_{i=1}^{N}{X_i} $$ $$S^2 = \f..
몬테카를로 샘플링 (Monte Carlo) 실제로 기계학습에 데이터를 적용할 때에는 확률분포를 알 수 없는 경우가 대부분이다. 이 때 가지고 있는 데이터를 이용하여 기대값을 알아내기 위해 몬테카를로 샘플링 방법을 사용할 수 있다. 몬테카를로 샘플링이란? 반복된 무작위 추출을 이용하여 함수의 값을 근사하는 알고리즘을 의미한다. ex) 표본 공간의 확률분포에서 임의로 표본을 뽑아서 표본에 대한 계산 수행 - 정사각형내에 내접하는 원의 넓이를 구할 때, - 정사각형 내에 1만 개의 난수 순서쌍이 존재한다고 가정 - (x, y) 좌표를 무작위로 추출한 뒤, 원의 범위에 포함된 비율을 계산하여 원의 넓이를 근사할 수 있음
조건부확률과 기댓값 조건부확률이란? 어떠한 사건 A가 일어났을 때 사건 B가 일어날 확률을 의미 1) 분류 문제 (이산형) - softmax(W*x + b)를 통해 P(y|x)를 구함 즉, x가 주어졌을 때의 y(정답)값을 찾는 것 2) 회귀 문제 (연속형) - 조건부 기대값을 추정함 - E[y|x] - 확률 변수 x가 주어졌을 때 y의 기대값 기댓값이란? 각 사건이 일어났을 때의 값과 그 사건이 벌어질 확률을 곱한 것 이는 확률적으로 어떤 사건이 일어났을 때 얻을 수 있는 값의 평균같은 의미 - 이산확률분포의 경우에는 확률 * 해당 값을 더해줌 - 연속활류분포의 경우에는 적분 해줌 기계학습에서는 데이터에서 추출된 패턴을 기반으로 확률을 해석하는 데에 조건부확률을 사용함!
확률변수와 확률분포 확률변수란? 확률적인 결과에 따라 결과 값이 바뀌는 변수를 의미한다. 시행의 결과에 따라 값이 결정된다. 확률변수의 종류 1) 이산확률변수 - 확률변수 X로 나올 수 있는 값이 a, b, c, d 처럼 각각 셀 수 있는 경우를 의미 ex) 주사위를 던졌을 때 나올 수 있는 값 : 1, 2, 3, 4, 5, 6 2) 연속확률변수 확률변수 X로 나올 수 있는 값이 연속적인 범위인 경우를 의미 ex) 키, 몸무게 확률분포란? 확률변수가 특정한 값을 가질 확률을 나타내는 함수 확률분포의 종류 1) 확률질량 함수 - 이산확률변수가 특정 값을 가질 확률 ex) 주사위 별 각 숫자가 나올 확률 = 1 / 6 ex) 베르누이 분포, 이항분포 2) 확률밀도 함수 - 연속확률변수가 특정 구간에 포함될 확률 - 연속확률변수..

728x90