수학·통계 기초

모델을 이해하는 데 필요한 수학과 확률 분야의 검토 완료 백과 문서다.

ㄱ

가설검정가설 검정은 관측 데이터가 귀무가설과 얼마나 양립하는지 정해진 오류 통제 규칙으로 판단하는 통계 절차다.
거리 공간거리 공간은 집합과 함께 비음수성·동일성·대칭성·삼각부등식을 만족하는 거리 함수를 갖는 수학적 구조다.
결합 엔트로피결합 엔트로피는 둘 이상의 확률변수 값을 함께 관측하기 전의 전체 평균 불확실성이다.
결합확률분포결합확률분포는 둘 이상의 확률변수가 동시에 특정 값을 취하는 가능성을 하나의 분포로 나타낸 것이다.
고유분해고유분해는 행렬을 고유벡터 행렬과 고윳값 대각행렬의 곱으로 나타내는 분해다.
고윳값과 고유벡터고윳값과 고유벡터는 선형 변환 뒤에도 방향이 유지되고 크기만 특정 배수로 변하는 벡터와 그 배수다.
고차원 기하학고차원 기하학은 차원이 큰 벡터 공간에서 거리·각도·부피·확률 질량이 보이는 비직관적 성질을 다루는 영역이다.
공분산공분산은 두 확률변수가 각자의 평균에서 같은 방향 또는 반대 방향으로 함께 변하는 정도를 나타낸 값이다.
교차 엔트로피교차 엔트로피는 실제 분포의 표본을 다른 예측 분포로 부호화할 때 필요한 평균 정보량이다.
국소 최적점과 전역 최적점국소 최적점은 주변에서 가장 좋은 해이고 전역 최적점은 전체 실현 가능 영역에서 가장 좋은 해다.
근사 오차근사 오차는 정확한 수학적 대상과 유한 모델·격자·절단·반복 계산으로 얻은 근사값 사이의 차이다.
기댓값기댓값은 확률변수가 장기 반복에서 취할 값의 확률 가중 평균을 나타내는 분포의 요약량이다.
기울기여러 변수에 대한 함수 변화율을 모은 벡터로, 손실을 줄이는 방향을 알려준다.
기저 벡터기저 벡터는 벡터 공간의 모든 벡터를 유일한 선형결합으로 표현할 수 있게 하는 선형 독립 벡터 집합의 원소다.

ㄴ

내적같은 길이의 두 벡터에서 대응 성분의 곱을 더해 하나의 스칼라를 만드는 연산이다.
뉴턴 방법뉴턴 방법은 함수의 국소 이차 근사를 사용해 근 또는 최적점을 반복적으로 찾는 방법이다.

ㄷ

다변수 미적분학다변수 미적분학은 여러 입력을 갖는 함수의 극한, 미분, 적분과 최적화를 다루는 수학 분야다.
데이터 처리 부등식데이터 처리 부등식은 확률변수를 후처리해도 원래 변수에 관한 상호정보량이 증가할 수 없다는 성질이다.

ㄹ

라그랑주 승수법라그랑주 승수법은 등식 제약을 목적 함수에 승수와 함께 결합해 제약 최적점의 필요조건을 구하는 방법이다.

ㅁ

마르코프 연쇄마르코프 연쇄는 다음 상태의 확률이 주어진 현재 상태에만 의존하는 확률 과정이다.
마할라노비스 거리마할라노비스 거리는 변수의 분산과 상관관계를 공분산 역행렬로 보정한 다변량 거리다.
맨해튼 거리맨해튼 거리는 두 벡터의 각 좌표 차이 절댓값을 합한 L1 거리다.
목적 함수목적 함수는 최적화 문제에서 변수 선택의 품질을 하나의 최소화 또는 최대화 값으로 표현한 함수다.
몬테카를로 방법몬테카를로 방법은 확률 표본을 반복 생성해 적분, 기대값과 불확실한 시스템의 특성을 근사하는 수치 기법이다.
미분입력의 작은 변화에 따라 함수 값이 얼마나 변하는지를 나타내는 연산이다.

ㅂ

방향 미분방향 미분은 다변수 함수가 지정된 단위 방향으로 움직일 때 변하는 순간 비율이다.
베이즈 정리베이즈 정리는 관측 증거가 주어졌을 때 가설의 사후확률을 사전확률과 우도, 증거확률로 연결하는 관계다.
벡터순서가 있는 수치 목록으로, 모델에서 데이터와 파라미터를 표현하는 기본 단위다. 유클리드 공간에서는 크기와 방향을 가진 대상으로 해석할 수 있다.
벡터 공간벡터 공간은 벡터 덧셈과 스칼라 곱이 정의되고 닫힘과 결합법칙 등 공리를 만족하는 집합이다.
벡터 노름벡터 노름은 벡터의 크기를 비음수 스칼라로 나타내며 양의 정부호성, 동차성과 삼각부등식을 만족한다.
벡터 사영벡터 사영은 한 벡터를 다른 벡터나 부분공간 방향의 성분으로 분해해 가장 가까운 점을 구하는 연산이다.
볼록 최적화볼록 최적화는 볼록 목적 함수와 볼록 가능 영역에서 최솟값을 찾는 최적화 문제와 방법을 다루는 분야다.
볼록 함수볼록 함수는 정의역의 두 점을 잇는 선분 위 함수값이 두 끝점 함수값의 선형 보간보다 크지 않은 함수다.
부동소수점 연산부동소수점 연산은 실수를 부호, 유효숫자와 지수의 유한 비트 표현으로 근사해 계산하는 방식이다.
부트스트랩 방법부트스트랩은 관측 표본에서 복원 추출한 재표본을 반복 생성해 추정량의 표집분포를 근사하는 방법이다.
부호 이론부호 이론은 정보를 효율적이고 신뢰성 있게 표현·전송하기 위한 부호의 한계와 구성 방법을 연구하는 분야다.
분산분산은 확률변수가 평균에서 얼마나 퍼져 있는지를 평균 제곱 편차로 나타낸 값이다.

ㅅ

사전확률사전확률은 현재 데이터를 관측하기 전에 사건이나 매개변수에 부여하는 확률 또는 확률분포다.
사후확률사후확률은 관측 데이터가 주어진 뒤 베이즈 정리에 따라 갱신된 사건 또는 매개변수의 확률이다.
상관관계상관관계는 두 변수의 선형 동행 정도를 각 표준편차로 정규화해 단위 없이 나타낸 값이다.
상호정보량상호정보량은 한 확률변수를 알았을 때 다른 변수의 불확실성이 평균적으로 얼마나 줄어드는지 나타낸다.
선 탐색선 탐색은 현재점과 탐색 방향이 주어졌을 때 목적 함수를 충분히 줄이는 이동 거리인 스텝 크기를 선택하는 절차다.
선형 변환선형 변환은 벡터 덧셈과 스칼라 곱을 보존하는 두 벡터 공간 사이의 함수다.
소스 부호화소스 부호화는 정보원의 통계적 중복을 줄여 메시지를 더 적은 기호나 비트로 표현하는 과정이다.
수치 안정성수치 안정성은 반올림과 입력 오차가 알고리즘의 출력에서 과도하게 증폭되지 않는 성질이다.
수치 적분수치 적분은 닫힌형 해가 없거나 데이터로만 주어진 함수의 정적분을 유한한 함수 평가의 가중합으로 근사하는 방법이다.
수치 정밀도수치 정밀도는 유한한 비트 표현이 실수를 구분하고 계산 결과를 유지할 수 있는 세밀함의 정도다.
스칼라벡터 공간의 벡터를 확대·축소하거나 계산의 단일 값을 나타내는 수학적 원소다.
신뢰구간신뢰구간은 동일한 표집 절차를 반복했을 때 정해진 비율로 참 매개변수를 포함하도록 구성된 구간 추정 절차다.

ㅇ

안장점안장점은 어떤 방향에서는 함수가 증가하고 다른 방향에서는 감소해 국소 최소나 최대가 아닌 정지점이다.
야코비 행렬야코비 행렬은 벡터값 함수의 각 출력 성분을 각 입력 변수로 편미분한 값을 배열한 행렬이다.
엔트로피엔트로피는 확률분포에서 결과를 알기 전의 평균 정보량 또는 불확실성을 나타내는 양이다.
역행렬역행렬은 정사각행렬 A에 대해 곱했을 때 항등행렬이 되는 행렬이며 가역 행렬에만 존재한다.
연쇄 법칙연쇄 법칙은 합성 함수의 미분을 각 구성 함수의 미분 곱으로 계산하는 규칙이다.
오버플로와 언더플로오버플로와 언더플로는 계산 결과의 크기가 수치 형식이 표현할 최대 범위를 넘거나 최소 정상 범위보다 작아지는 현상이다.
외적곱한 벡터의 각 성분과 다른 벡터의 각 성분을 모두 곱해 행렬을 만드는 연산이다.
우도가능도는 관측 데이터가 고정되었을 때 매개변수 값에 따라 확률모형이 그 데이터를 얼마나 지지하는지 나타내는 함수다.
유클리드 거리유클리드 거리는 두 벡터 좌표 차이 제곱합의 제곱근으로 정의되는 직선 거리다.
유한차분법유한차분법은 연속 함수의 미분을 가까운 격자점 함수값의 차이로 근사하는 수치 방법이다.
율-왜곡 이론율-왜곡 이론은 허용할 평균 왜곡 수준에서 정보를 표현하는 데 필요한 최소 부호율을 연구한다.

ㅈ

자동 미분자동 미분은 프로그램의 기본 연산에 연쇄법칙을 기계적으로 적용해 도함수를 부동소수점 정확도로 계산하는 기법이다.
전치행렬행렬의 행과 열을 맞바꾸어 원소 a_ij를 전치 행렬의 a_ji 위치로 옮기는 연산이다.
정보 이득정보 이득은 관측이나 분할 전후의 불확실성 감소량이다.
제약 최적화제약 최적화는 변수에 등식·부등식·집합 조건을 부과한 상태에서 목적 함수의 최적값을 찾는 문제다.
젠슨-섀넌 발산젠슨-섀넌 발산은 두 분포와 그 혼합분포 사이의 KL 발산을 평균내어 대칭적이고 유한하게 만든 분포 차이 척도다.
조건부 엔트로피조건부 엔트로피는 다른 확률변수의 값을 알고 난 뒤에도 남는 대상 변수의 평균 불확실성이다.
조건부확률어떤 사건이 주어졌을 때 다른 사건이 발생할 확률이다.
조건수조건수는 입력의 작은 상대 변화가 문제의 정확한 해에 얼마나 큰 상대 변화를 만들 수 있는지를 나타내는 민감도 척도다.
주변확률주변확률은 결합분포에서 관심 없는 변수의 값을 합하거나 적분해 특정 변수만의 확률을 얻은 것이다.
준뉴턴 방법준뉴턴 방법은 헤시안을 직접 계산하지 않고 연속한 위치와 기울기 차이로 곡률 근사를 갱신하는 최적화 방법이다.
중심극한정리중심극한정리는 일정한 조건에서 독립 변수의 정규화된 합이나 평균 분포가 표본 수가 커질수록 정규분포에 가까워진다는 정리다.
직교성직교성은 두 벡터의 내적이 0이어서 서로 수직이며 한 방향의 성분이 다른 방향에 투영되지 않는 관계다.

ㅊ

차원의 저주차원의 저주는 변수 수가 늘어날수록 공간을 덮는 데 필요한 표본과 계산량이 급격히 증가해 추정과 탐색이 어려워지는 현상이다.
채널 용량채널 용량은 주어진 잡음 채널에서 오류 확률을 임의로 작게 하면서 전달할 수 있는 최대 정보율이다.
최대우도추정최대가능도추정은 관측 데이터의 가능도를 가장 크게 만드는 모형 매개변수를 선택하는 추정 원리다.
최적화목적 함수를 최소화하거나 최대화하는 파라미터를 찾는 과정이다.
측도 집중측도 집중은 많은 고차원 확률 공간에서 립시츠 함수 같은 관측량이 평균이나 중앙값 주변의 좁은 구간에 높은 확률로 모이는 현상이다.

ㅋ

커널 트릭커널 트릭은 알고리즘의 내적을 커널 함수로 치환해 고차원 특징 표현을 직접 만들지 않고 비선형 관계를 학습하는 기법이다.
커널 함수커널 함수는 두 입력을 특징 공간으로 명시적으로 변환하지 않고 그 공간에서의 내적에 해당하는 유사도를 계산하는 함수다.
코사인 유사도두 벡터 사이 각도의 코사인으로 방향의 유사성을 측정하는 값이다.
쿨백-라이블러 발산쿨백-라이블러 발산은 한 확률분포를 다른 분포로 근사할 때 발생하는 추가 평균 정보량을 측정한다.
큰 수의 법칙큰 수의 법칙은 적절한 조건에서 독립적으로 반복한 표본의 평균이 표본 수가 늘수록 모집단 기댓값에 가까워진다는 정리다.

ㅌ

테일러 전개테일러 전개는 함수 값을 한 점에서의 도함수들로 만든 다항식과 나머지항으로 근사하는 표현이다.
텐서머신러닝 프레임워크에서 스칼라·벡터·행렬과 그 이상의 차원을 일관된 방식으로 다루는 다차원 수치 배열이다.
통계적 추정량통계적 추정량은 표본 데이터의 함수로서 모집단 매개변수나 그 함수를 추정하는 확률변수다.
통계적 편향통계적 편향은 추정량의 기대값과 추정하려는 참 매개변수 사이의 체계적인 차이다.
통계적 표본추출통계적 표본추출은 모집단의 특성을 추정하기 위해 일부 관측 단위를 확률적 또는 설계된 규칙으로 선택하는 과정이다.
특잇값 분해특잇값 분해(SVD)는 임의의 직사각행렬을 두 직교행렬과 비음수 특잇값 대각행렬의 곱으로 분해한다.

ㅍ

퍼플렉서티퍼플렉서티는 확률 모델이 관측 시퀀스를 얼마나 놀랍게 보는지를 토큰당 평균 음의 로그우도의 지수로 나타낸 지표다.
편미분편미분은 다변수 함수에서 다른 변수는 고정하고 한 변수만 변화시킬 때의 순간 변화율이다.

ㅎ

행렬수치를 행과 열로 배열한 구조로, 신경망의 선형 변환과 배치 계산에 사용된다.
행렬 곱셈첫 행렬의 행과 둘째 행렬의 열을 내적해 새로운 행렬을 만드는 선형대수 연산으로, 신경망의 선형 변환을 구성하는 핵심 계산이다.
행렬식행렬식은 정사각행렬이 공간의 부피와 방향을 얼마나 바꾸는지 나타내는 스칼라이며 가역성과 연결된다.
행렬의 계수행렬의 계수(rank)는 선형 독립인 행 또는 열의 최대 개수로 행렬이 표현하는 독립 차원의 수다.
헤세 행렬헤세 행렬은 스칼라 함수의 모든 이차 편미분을 배열해 국소 곡률을 나타내는 정사각 행렬이다.
확률불확실한 사건이 일어날 가능성을 수치로 표현하는 체계다.
확률변수확률변수는 확률 실험의 각 결과를 실수나 벡터 값에 대응시키는 측정 가능한 함수다.
확률분포가능한 값마다 확률을 대응시켜 불확실성을 나타내는 함수다.

F

F-발산F-발산은 두 확률분포의 밀도비에 볼록함수를 적용해 평균낸 분포 차이 척도군이다.

P

P값p값은 귀무가설과 검정 가정이 참일 때 관측한 값 이상으로 극단적인 검정통계량을 얻을 확률이다.