신경망과 딥러닝
신경망의 구성 요소와 학습 원리 분야의 검토 완료 백과 문서다.
ㄱ
- 가중치신경망에서 입력 신호의 영향력을 조절하며 학습 과정에서 손실을 줄이는 방향으로 갱신되는 수치형 매개변수다.
- 가중치 감쇠가중치 감쇠는 최적화 갱신에서 가중치 크기를 지속적으로 줄여 지나치게 큰 파라미터를 억제하는 정규화 방식이다.
- 개념 활성화 벡터개념 활성화 벡터는 신경망의 중간 표현 공간에서 사람이 정의한 개념의 방향을 학습해 출력이 그 개념에 얼마나 민감한지 측정하는 도구다.
- 검증 손실검증 손실은 학습에 사용하지 않은 고정 검증 집합에서 현재 모델의 목적 함수 값을 계산한 지표다.
- 게이트 순환 유닛게이트 순환 유닛은 갱신 게이트와 리셋 게이트로 이전 상태와 새 후보 상태를 혼합하는 순환 신경망 구조다.
- 경사하강법손실 함수의 기울기 반대 방향으로 파라미터를 반복 갱신하는 최적화 방법이다.
- 계산 그래프계산을 값과 연산 노드, 의존 관계의 방향성 그래프로 표현한 구조다.
- 계층별 관련성 전파계층별 관련성 전파는 모델 출력 점수를 보존 규칙에 따라 뒤쪽 층에서 입력 특징까지 재분배하는 설명 기법이다.
- 그래디언트 노름기울기 노름은 손실 함수의 파라미터 기울기 벡터 크기를 하나의 스칼라로 요약한 값이다.
- 그래디언트 누적그래디언트 누적은 여러 마이크로배치의 그래디언트를 모은 뒤 한 번 매개변수를 갱신해 큰 유효 배치를 구현하는 기법이다.
- 그래디언트 소실그래디언트 소실은 깊거나 반복적인 계산 그래프에서 역전파 신호가 연속 곱셈으로 매우 작아져 앞단 매개변수가 거의 학습되지 않는 현상이다.
- 그래디언트 신호그래디언트 신호는 손실이 각 파라미터 변화에 얼마나 민감한지를 나타내며 역전파로 층을 거슬러 전달된다.
- 그래디언트 클리핑그래디언트 클리핑은 그래디언트 값이나 전체 노름이 임계값을 넘을 때 크기를 제한해 불안정한 갱신을 줄이는 기법이다.
- 그래디언트 폭주그래디언트 폭주는 역전파 과정의 반복 곱셈으로 그래디언트 크기가 급격히 커져 손실과 매개변수가 불안정해지는 현상이다.
- 그래프 신경망그래프 신경망은 노드와 간선으로 표현된 비정형 구조에서 이웃 정보를 전달·집계해 표현을 학습하는 신경망이다.
- 그래프 어텐션 네트워크그래프 어텐션 네트워크는 각 노드가 이웃마다 다른 학습된 중요도를 부여해 정보를 집계하는 그래프 신경망이다.
- 그래프 합성곱 신경망그래프 합성곱 신경망은 그래프의 인접 구조와 정규화된 이웃 집계를 사용해 노드 표현을 변환하는 그래프 신경망이다.
- 그룹 정규화그룹 정규화는 한 표본의 채널을 여러 그룹으로 나눠 그룹 내부 통계로 활성값을 정규화하는 방법이다.
- 기계론적 해석 가능성기계론적 해석 가능성은 신경망 내부의 구성 요소와 계산 경로가 특정 기능과 출력을 어떻게 구현하는지 인과적으로 설명하려는 연구 접근이다.
ㄴ
- 네스테로프 가속 경사법네스테로프 가속 경사법은 모멘텀으로 예상한 앞선 위치에서 기울기를 계산해 갱신 방향을 미리 보정하는 최적화법이다.
ㄷ
ㄹ
- 레이블 스무딩레이블 스무딩은 원-핫 정답분포의 일부 확률 질량을 다른 클래스에 나누어 과도한 확신을 줄이는 정규화 기법이다.
ㅁ
- 메모리 네트워크메모리 네트워크는 입력과 분리된 읽기·쓰기 가능한 메모리와 질의 기반 접근을 결합한 신경망 구조다.
- 모드 붕괴모드 붕괴는 생성 모델이 데이터 분포의 다양한 모드를 표현하지 못하고 소수의 유사한 출력만 반복하는 실패다.
- 모멘텀 최적화모멘텀 최적화는 과거 기울기의 누적 방향을 속도 변수에 보존해 진동을 줄이고 일관된 방향의 이동을 가속하는 방법이다.
- 미니배치 경사하강법미니배치 경사하강법은 여러 사례로 구성된 작은 배치의 평균 기울기를 사용해 신경망 매개변수를 갱신하는 방식이다.
ㅂ
ㅅ
- 생성적 적대 신경망생성적 적대 신경망은 실제 데이터와 비슷한 표본을 만드는 생성자와 진위를 구분하는 판별자를 경쟁적으로 학습하는 모델이다.
- 샴 신경망샴 신경망은 파라미터를 공유하는 둘 이상의 인코더로 입력 쌍의 유사성이나 차이를 학습하는 구조다.
- 선형층선형층은 입력 벡터에 학습 가능한 행렬과 편향을 적용해 아핀 변환을 수행하는 층이다.
- 손실 지형손실 지형은 모델 파라미터 공간의 각 점에 학습 손실을 대응시킨 고차원 함수의 기하학적 모습이다.
- 손실 함수모델의 예측과 목표 사이 차이를 하나의 수치로 측정하는 함수다.
- 수용 영역수용 영역은 신경망의 특정 유닛 출력에 영향을 줄 수 있는 입력 위치의 범위다.
- 순전파신경망 입력을 첫 층부터 마지막 층까지 순서대로 계산해 예측과 중간 활성화를 얻는 과정이다.
- 순환 신경망순환 신경망은 이전 시점의 은닉 상태를 다음 시점 계산에 사용해 시퀀스 의존성을 표현하는 신경망이다.
- 스파이킹 신경망스파이킹 신경망은 뉴런이 연속 활성값 대신 시간에 따른 이산 스파이크를 주고받도록 모델링한 신경망이다.
- 스펙트럴 정규화스펙트럴 정규화는 가중치 행렬을 가장 큰 특이값으로 나누어 층의 립시츠 상한을 제한하는 정규화 방법이다.
- 신경 상미분방정식신경 상미분방정식은 은닉 상태의 연속 시간 변화를 신경망으로 매개변수화한 미분방정식으로 표현하는 모델이다.
- 신경 튜링 머신신경 튜링 머신은 신경망 제어기와 주소 지정 가능한 외부 메모리를 결합해 읽기·쓰기 절차를 학습하는 미분 가능한 구조다.
- 신경망연결된 계산 단위와 가중치를 층으로 쌓아 복잡한 함수를 학습하는 모델이다.
- 신경망 깊이신경망 깊이는 입력에서 출력까지 거치는 학습 가능한 층이나 변환 단계의 수를 뜻한다.
- 신경망 너비신경망 너비는 한 층이 가진 유닛, 채널 또는 은닉 차원의 크기를 뜻한다.
- 신경망 층입력 표현을 정해진 연산과 학습 파라미터로 변환해 다음 표현으로 전달하는 신경망의 구성 단위다.
- 심층 신뢰 신경망심층 신뢰 신경망은 여러 확률적 잠재층을 쌓아 데이터의 계층적 표현을 학습하는 생성 모형 계열이다.
ㅇ
- 에너지 기반 모델에너지 기반 모델은 입력과 출력 조합의 적합성을 스칼라 에너지로 표현하고 낮은 에너지 상태를 더 그럴듯하게 보는 모델이다.
- 에코 상태 네트워크에코 상태 네트워크는 고정된 희소 순환 저장소가 입력의 시간적 흔적을 만들고 출력층만 학습하는 저장소 컴퓨팅 모형이다.
- 에포크학습 알고리즘이 전체 학습 데이터셋을 한 번 처리한 주기다.
- 역전파출력의 손실에서 각 파라미터의 기여도를 연쇄 법칙으로 계산하는 알고리즘이다.
- 옵티마이저 상태옵티마이저 상태는 학습 갱신을 계산하기 위해 매개변수 외에 유지하는 모멘트, 누적 그래디언트, 단계 수 등의 값이다.
- 완전연결층완전연결층은 모든 입력 특성과 모든 출력 유닛 사이에 학습 가능한 가중치를 두는 신경망 층이다.
- 은닉 상태은닉 상태는 순환 모델이나 상태 공간 모델이 이전 입력 정보를 요약해 다음 계산으로 전달하는 내부 표현이다.
- 은닉층은닉층은 입력과 출력 사이에서 중간 표현을 계산하며 직접 관측되는 목표가 아닌 특징을 학습하는 신경망 층이다.
- 인공 뉴런입력의 가중합에 활성화 함수를 적용해 출력을 만드는 신경망의 계산 단위다.
- 인스턴스 정규화인스턴스 정규화는 각 표본과 채널별로 공간 위치의 평균과 분산을 사용해 활성값을 정규화하는 방법이다.
- 입력층신경망이 외부 특징을 처음 받아 내부 텐서 표현으로 전달하는 입력 경계다.
ㅈ
- 잔차 신경망잔차 신경망은 여러 층의 변환 결과에 입력을 지름길 연결로 더해 잔차 함수를 학습하는 심층 신경망이다.
- 잡음 주입잡음 주입은 학습 중 입력, 활성값, 가중치나 기울기에 무작위 교란을 더해 일반화와 강건성을 높이는 기법이다.
- 장단기 메모리장단기 메모리는 입력·망각·출력 게이트와 셀 상태로 장기 의존성 학습을 돕는 순환 신경망 구조다.
- 적응형 그래디언트 방법적응형 그래디언트 방법은 매개변수별 과거 기울기 통계를 이용해 유효 학습률을 자동으로 조정하는 최적화 방법군이다.
- 제한 볼츠만 머신제한 볼츠만 머신은 가시층과 은닉층 사이에만 연결을 둔 에너지 기반 확률 모형이다.
- 조기 종료조기 종료는 검증 성능이 더 이상 개선되지 않거나 악화될 때 학습을 중단해 과적합과 불필요한 계산을 줄이는 절차다.
- 죽은 뉴런죽은 뉴런은 관측되는 입력 범위에서 활성값이나 기울기가 거의 항상 0이어서 학습과 출력에 기여하지 않는 신경망 단위다.
ㅊ
ㅋ
- 캡슐 네트워크캡슐 네트워크는 객체 특성의 존재와 자세를 벡터 단위로 표현하고 하위 캡슐의 합의를 상위 캡슐로 라우팅하는 구조다.
ㅌ
ㅍ
ㅎ
- 학습 곡선학습 곡선은 학습 단계나 데이터 크기에 따른 훈련·검증 성능의 변화를 나타내는 기록이다.
- 학습 손실학습 손실은 현재 학습 데이터 배치에서 모델 예측과 목표 사이의 오차를 목적 함수로 계산한 값이다.
- 학습 수렴학습 수렴은 반복 최적화에서 손실·기울기·평가 지표의 변화가 허용 범위 안으로 안정되는 상태다.
- 학습률한 번의 최적화 단계에서 파라미터를 얼마나 크게 변경할지 정하는 값이다.
- 학습률 스케줄학습률 스케줄은 학습 단계나 검증 신호에 따라 옵티마이저의 학습률을 바꾸는 규칙이다.
- 학습률 워밍업학습률 워밍업은 학습 초기에 작은 학습률에서 시작해 정해진 기간 동안 목표 학습률까지 점진적으로 높이는 기법이다.
- 합성곱 신경망합성곱 신경망은 국소 필터의 가중치를 공간 위치에 공유해 격자 데이터의 특징을 학습하는 신경망이다.
- 현저성 지도현저성 지도는 입력의 각 요소 변화가 특정 모델 출력에 미치는 국소 민감도를 시각적 점수로 나타낸 설명이다.
- 혼합 정밀도 학습혼합 정밀도 학습은 신경망 학습의 일부 연산과 저장에 낮은 수치 정밀도를 사용하면서 필요한 부분은 높은 정밀도로 유지하는 기법이다.
- 홉필드 네트워크홉필드 네트워크는 대칭 연결과 에너지 함수를 사용해 저장된 패턴을 안정 상태로 회상하는 순환 신경망이다.
- 확률적 경사하강법확률적 경사하강법은 전체 데이터 대신 한 사례 또는 작은 무작위 표본의 손실 기울기로 매개변수를 반복 갱신하는 최적화법이다.
- 확률적 깊이확률적 깊이는 잔차 신경망 학습 중 일부 잔차 블록을 무작위로 건너뛰어 다양한 유효 깊이를 학습하는 정규화 기법이다.
- 활성화 최대화활성화 최대화는 선택한 뉴런이나 클래스 점수를 크게 만드는 입력을 경사 상승으로 합성해 선호 패턴을 탐색하는 기법이다.
- 활성화 함수신경망에 비선형성을 부여해 복잡한 관계를 표현하게 하는 함수다.
A
C
- CutMixCutMix는 한 이미지의 사각 영역을 다른 이미지 패치로 바꾸고 면적 비율에 따라 레이블을 혼합하는 데이터 증강 방법이다.
D
- DenseNetDenseNet은 각 층의 특징 맵을 이후 모든 층의 입력에 이어 붙이는 조밀 연결 합성곱 신경망이다.
L
M
- MixupMixup은 두 학습 표본과 정답을 같은 비율로 선형 혼합해 가상 표본을 만드는 데이터 증강 방법이다.
R
- RMSPropRMSProp은 최근 제곱 기울기의 지수이동평균으로 각 매개변수의 학습률을 조정하는 적응형 최적화법이다.
S
- SHAP 설명SHAP은 협력 게임의 샤플리 값을 이용해 한 예측과 기준값의 차이를 특징별 가산 기여도로 배분하는 설명 방법 계열이다.
U
- U-NetU-Net은 축소 경로와 확대 경로를 대칭으로 구성하고 같은 해상도의 특징을 건너 연결하는 영상 분할 신경망이다.
기타
- 2차 최적화2차 최적화는 목적함수의 그래디언트뿐 아니라 헤시안 또는 곡률 근사를 이용해 갱신 방향과 크기를 정하는 방법이다.