멀티모달 안전 평가 Multimodal Safety Evaluation
멀티모달 안전 평가는 텍스트·이미지·음성·영상의 단독·결합 입력에서 안전 정책 위반, 부당한 거부, 정보 누출과 교차 모달 공격을 시험하고 배포 조건을 정하는 평가 활동이다.
개념과 원리
섹션 제목: “개념과 원리”개요와 적용 범위
섹션 제목: “개요와 적용 범위”멀티모달 안전 평가는 텍스트·이미지·음성·영상의 단독 입력과 결합 입력을 사용해 안전 정책 위반, 부당한 거부, 개인정보 누출과 교차 모달 공격을 시험하는 활동이다. 예를 들어 정상적인 텍스트 요청에 지시가 숨겨진 이미지를 더했을 때 응답이나 도구 권한이 달라지는지를 확인한다. 이 문서는 모델 자체의 유해 출력과 전처리·도구 실행을 포함한 응용 시스템의 실패를 구분해 배포 전 시험과 운영 중 재평가를 설계한다.
이 개념의 목적은 기술 이름을 하나 더 만드는 데 있지 않다. 실제 시스템에서 어떤 입력과 상태를 관측하고, 어떤 기준으로 변경을 허용하며, 실패했을 때 어떤 경로로 복구할지를 하나의 문서화된 판단 단위로 묶는 것이 핵심이다. 적용 범위는 워크로드, 사용자 위험, 비용 제약을 명시한 경우로 한정한다.
용어의 위치와 경계
섹션 제목: “용어의 위치와 경계”멀티모달 안전 평가는 단일 표준이 정의한 고유명사로 단정하지 않는다. 이 문서에서는 인접한 연구·표준·구현 관행을 연결해 프로덕션 의사결정을 설명하는 조합적 운영 개념으로 사용한다. 따라서 제품명이나 특정 공급자의 기능과 동의어가 아니다.
특정 공급자의 현재 제품 매뉴얼만을 요약하거나 검증하지 않은 성능 수치를 일반화하지 않는다. 구현이 다르더라도 입력, 판단 규칙, 관측 결과, 복구 조건을 같은 형식으로 나란히 놓으면 비교가 가능하다. 용어를 사용할 때는 팀 내부의 적용 범위와 버전을 함께 밝혀 의미가 조직마다 달라지는 문제를 줄인다.
작동 구조
섹션 제목: “작동 구조”멀티모달 안전 평가에서는 먼저 적용할 안전 정책과 실패의 심각도를 정하고, 평가 의도를 모달리티별 단독 입력과 결합 입력으로 구성한다. 전처리·인식·모델 판단·출력·도구 실행 경계에서 어떤 내용이 전달됐는지 추적한 뒤 위반과 정당한 응답을 판정한다. 정상 텍스트와 악성 이미지의 조합처럼 각 입력만으로는 드러나지 않는 실패도 포함한다. 자동 판정과 전문가 검토의 담당 범위를 기록하고, 탐지된 문제를 차단·대체 응답·사람 검토 또는 롤백 조건에 연결한다.
단순히 성공·실패만 기록하면 어느 경계에서 품질이 무너졌는지 알 수 없다. 중간 상태를 추적하면 정책 오류와 구현 오류, 외부 의존성 장애를 분리할 수 있다. 상태 기록은 민감 데이터를 최소화하고 보유 기간과 접근 권한을 같이 정의한다.
구성 요소와 정보 흐름
섹션 제목: “구성 요소와 정보 흐름”멀티모달 안전 평가는 입력 계약, 정책 저장소, 실행기, 관측 파이프라인, 복구 제어기로 구성할 수 있다. 입력 계약은 필수 필드와 유효 범위를 고정하고, 정책 저장소는 조건과 우선순위를 버전별로 보관한다. 실행기는 정책을 결과로 변환하며 관측 파이프라인은 실제 결과를 지표와 이벤트로 전환한다.
정보 흐름은 양방향이어야 한다. 제어 계층이 실행 계층에 정책을 내리는 것만으로는 부족하며, 관측 결과가 정책 수정과 자동 중단으로 되돌아와야 한다. 최종 복구 제어기는 롤백, 대체 경로, 사람 승인 중 하나를 선택하고 선택 이유를 남긴다.
활용과 검증
섹션 제목: “활용과 검증”측정 지표와 판단 기준
섹션 제목: “측정 지표와 판단 기준”멀티모달 안전 평가의 지표는 안전 정책 위반율, 정상 요청의 부당한 거부율, 교차 모달 지시 주입의 성공 여부와 피해 심각도를 중심으로 정한다. 각 비율의 분모와 판정 규칙을 고정하고 텍스트·이미지·음성·영상, 단독·결합 입력, 언어와 사용자 집단별 결과를 나눠 본다. 스키마 일치율·토큰 소비·지연은 별도 운영 지표로 기록한다. 형식이 올바르거나 평균 위반율이 낮다는 사실만으로 드문 고위험 실패가 해소됐다고 판정하지 않는다. 기준선은 목표·경고·중단으로 나누고 각 단계의 대응을 정한다.
측정값에는 표본 수와 관측 기간, 분모의 정의를 함께 기록한다. 지표가 좋아져도 다른 지표의 악화를 감출 수 있으므로 품질, 비용, 지연, 안전성을 같은 릴리스 표에서 비교한다. 최소 표본에 도달하지 못한 결과는 확정 판정이 아니라 보류로 분류한다.
설계 선택과 트레이드오프
섹션 제목: “설계 선택과 트레이드오프”멀티모달 안전 평가는 품질·지연·비용·안전성 사이의 교환 관계를 드러낸다. 더 강한 검증과 이중화는 실패를 줄이지만 지연과 비용을 늘릴 수 있다. 반대로 빠른 대체 경로는 가용성을 높이지만 품질 일관성과 추적성을 떨어뜨릴 수 있다.
따라서 전체 요청에 하나의 정책을 적용하지 않는다. 사용자 영향, 요청 가치, 실패 후 복구 가능성에 따라 보수적·표준·속도 우선 정책으로 분리한다. 각 정책은 적용 조건, 예산, 허용 오류, 롤백 조건을 포함하고 운영 데이터로 주기적으로 재조정한다.
2026년 8월 Gemini 3.7 Flash 모델 카드는 텍스트·다국어·이미지에서 텍스트로 이어지는 안전 자동 평가, 전문가 레드팀, CBRN·사이버·조작·ML 연구개발 임곗값 평가를 서로 구분한다. 공급자가 평가 질의를 갱신했다고 밝혔으므로 모델 카드 사이의 수치를 그대로 시계열 비교하지 않고 평가셋 버전, 자동·수동 평가 범위와 판단 기준을 함께 기록해야 한다.
실패 모드와 진단
섹션 제목: “실패 모드와 진단”멀티모달 안전 평가의 실패 후보에는 이미지에 삽입된 지시가 사용자 요청을 덮어쓰는 교차 모달 주입, 전처리 과정의 안전 관련 정보 누락, 모달리티 간 모순의 잘못된 해석, 유해 출력과 정상 요청의 과잉 거부가 있다. 텍스트 전용 안전 점수를 다른 입력 모달리티의 결과로 대신하지 않는다. 실패마다 입력 조합, 관측된 응답·외부 행동, 피해, 탐지 신호와 복구 경로를 기록한다. 정책 판정 오류와 인식·전처리 오류, 도구의 권한 통제 실패를 분리하면 같은 최종 증상도 원인을 좁힐 수 있다.
진단은 최종 출력에서 역순으로 진행한다. 결과 검증, 실행 기록, 정책 선택, 입력 정규화 순으로 경계를 확인하면 변수를 빠르게 줄일 수 있다. 재현이 어려운 경우에는 실제 민감 데이터를 제거한 최소 재현 입력과 정책 버전을 함께 보존한다.
운영·관측·복구
섹션 제목: “운영·관측·복구”멀티모달 안전 평가를 변경할 때는 버전, 적용 대상, 관측 지표, 예상 영향, 롤백 조건을 하나의 변경 기록에 남긴다. 배포는 오프라인 재현, 쉐도 실행, 소규모 카나리, 단계적 확대 순으로 진행하고 각 단계에서 중단 기준을 자동 판정할 수 있게 한다.
관측 화면은 성공 지표만 보여주지 않고 거부, 대체 경로, 재시도, 사람 개입, 복구 소요 시간을 함께 보여준다. 복구 절차는 담당자와 권한, 예상 소요 시간, 데이터 영향, 복구 후 검증 항목을 포함해야 한다. 주기적 후속 검토로 임시 조치가 영구 정책으로 남는 것을 방지한다.
안전·보안·거버넌스
섹션 제목: “안전·보안·거버넌스”멀티모달 안전 평가를 운영할 때는 요청·응답 로깅, 버전 고정, 예산 상한, 스키마 검증과 안전한 대체 경로를 기본 통제로 검토한다. 통제는 단순히 있는지만 확인하지 않고 어떤 위협을 줄이며, 어떤 잔여 위험이 남고, 실패했을 때 어떤 신호로 알 수 있는지를 연결한다.
민감 데이터와 비밀 값은 로그에 남기지 않고 필요한 시점에 최소 권한으로만 제공한다. 정책 예외는 승인자, 사유, 적용 범위, 만료 시점을 필수로 남겨야 한다. 사고 후에는 탐지부터 복구까지의 시간선과 의사결정 근거를 보존하고, 조치가 실제로 재발을 막았는지 동일 시나리오로 재시험한다.
이미지나 외부 문서에서 읽은 지시가 애플리케이션의 도구 권한으로 승격되지 않는지 시험한다. 출력 형식 검사와 입력 필터만으로 주입을 완전히 막는다고 가정하지 않고, 최소 권한과 신뢰 경계, 위험한 외부 행동의 승인 조건을 실제 실행 경로에서 확인한다.
적용 예시와 검토 목록
섹션 제목: “적용 예시와 검토 목록”대표 사례는 고객 지원 모델이 문의 텍스트와 첨부 이미지를 함께 읽고 구조화된 답변을 만드는 상황이다. 정상 문의, 이미지에만 유해한 내용이 있는 문의, 정상 텍스트에 숨은 지시가 담긴 이미지를 결합한 문의를 각각 준비한다. 답변 형식뿐 아니라 안전 정책 위반·정당한 응답·부당한 거부와 외부 도구 호출을 확인한다. 모델을 교체할 때는 입력 파일·전처리·평가 질의와 판정 기준을 고정하고 기준선과 비교한 뒤 제한된 대상부터 적용한다.
검토 목록은 다음과 같다.
- 용어의 범위와 소유 팀을 문서화했는가?
- 입력과 출력 계약, 정책 버전을 식별할 수 있는가?
- 성공, 경고, 중단 기준과 표본 수를 정했는가?
- 주요 실패 모드별 탐지 신호와 임시 조치가 있는가?
- 롤백·대체 경로·사람 승인의 시작 조건이 명확한가?
- 민감 데이터와 비밀 값의 로깅·보유·접근 정책을 검토했는가?
실제 배포 후에는 체크리스트의 통과 여부보다 각 항목에서 발생한 예외와 사람 개입을 기록해 다음 버전의 정책을 개선한다.
문서 관계
섹션 제목: “문서 관계”선행 개념
섹션 제목: “선행 개념”관련 문서
섹션 제목: “관련 문서”이 문서를 가리키는 문서
섹션 제목: “이 문서를 가리키는 문서”이 문서를 포함하는 코스
섹션 제목: “이 문서를 포함하는 코스”참고와 다음 학습
섹션 제목: “참고와 다음 학습”참고 문헌
섹션 제목: “참고 문헌”- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing - paper
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - paper
- Language Models are Unsupervised Multitask Learners - paper
- Language Models are Few-Shot Learners - paper
- Gemini 3.7 Flash Model Card - documentation
- NIST AI 600-1: Generative Artificial Intelligence Profile - documentation
- OWASP LLM01:2025 Prompt Injection - documentation
코스에서 계속 읽기
섹션 제목: “코스에서 계속 읽기”- 멀티모달 AI 시스템: 다음 문서 — 미디어 출처 파이프라인