콘텐츠로 이동

AI 에이전트 AI Agent

목표를 바탕으로 상태를 관찰하고 도구를 선택해 여러 단계의 작업을 수행하는 시스템이다.

분류: [에이전트·자동화·MCP](/category/agents/) · 문서 상태: 문장 단위 근거 검토 완료 · 최근 검토: 2026-07-13

목표를 바탕으로 상태를 관찰하고 도구를 선택해 여러 단계의 작업을 수행하는 시스템이다.

‘AI 에이전트’ 개념은 에이전트·자동화·MCP 영역에서 무엇을 계산하거나 통제하는지 설명하는 표제어다. 이름을 외우는 데서 멈추지 않고 입력, 변환 과정, 출력, 적용 조건을 분리해 보면 제품과 논문마다 다른 표현을 같은 원리 위에서 비교할 수 있다. 에이전트 분야는 모델이 목표를 해석하고 도구와 상태를 사용해 여러 단계 행동을 수행하는 구조를 다룬다.

근거 [1]

영문 Wikipedia의 ‘AI agent’ 표제어를 대조해 용어의 일반적 범위와 인접 개념을 확인했다. 외부 백과의 문장을 복제하지 않고, 아래 1차 자료와 내부 개념 그래프를 기준으로 한국어 설명을 다시 구성했다.

이 문서에서 다루는 범위는 안정적인 개념과 구현 원리다. 최신 모델명·가격·한도처럼 자주 바뀌는 정보는 포함하지 않으며, 실제 사용 시점에는 연결된 공식 문서와 배포 환경의 버전을 다시 확인한다.

근거 [2]

AI 에이전트는 모델의 언어 생성 능력에 목표, 도구 목록, 상태, 행동 선택 규칙을 결합해 환경에 변화를 일으킨다.

직접 요구되는 선행 문서는 없지만, 정의와 입력·출력 범위를 먼저 확인한다. 이 선행 관계를 기준으로 어느 단계에서 값이 만들어지고 다음 구성 요소로 어떻게 전달되는지 추적하면, 비슷한 용어를 기능 이름만으로 혼동하는 일을 줄일 수 있다.

에이전트의 핵심은 한 번의 답변을 만드는 것이 아니라 관찰한 상태를 다음 행동의 조건으로 되먹이는 폐루프에 있다. ReAct 계열의 구성에서는 모델이 현재까지의 단서로 중간 판단을 만들고, 검색·계산·파일 읽기 같은 행동을 선택한 뒤, 도구가 돌려준 관찰을 다시 문맥에 넣는다. 따라서 모델 호출 횟수만 세어서는 동작을 설명할 수 없다. 같은 모델도 어떤 상태를 보존하는지, 도구 오류를 어떻게 표현하는지, 중간 판단 뒤에 행동을 허용하는지가 다르면 전혀 다른 정책처럼 움직인다. 계획은 고정된 명령 목록이 아니라 새 관찰에 따라 수정되는 가설이며, 성공 여부는 최종 문장뿐 아니라 행동 순서와 근거 추적 가능성으로 평가해야 한다.

도구 호출은 자연어 의도를 실행 가능한 구조로 바꾸는 경계다. 모델이 선택한 도구 이름과 인자를 스키마로 검증하고, 실행기는 인증·시간 제한·재시도·중복 실행 방지를 담당하며, 결과는 모델이 읽을 수 있는 관찰로 정규화한다. 이 경계를 분리하면 모델의 잘못된 선택, 스키마 변환 오류, 외부 서비스 실패를 서로 구분할 수 있다. 특히 쓰기 작업에서는 같은 요청이 재시도되어도 결과가 한 번만 반영되도록 멱등성 키나 작업 식별자를 두어야 한다. 에이전트가 말로 “완료했다”고 주장하는 것과 실제 외부 상태가 바뀐 것은 별개의 사건이므로 실행 결과를 독립적으로 확인한다.

근거 [1]

실제 시스템에서는 ‘AI 에이전트’ 개념만 독립적으로 동작하지 않는다. 에이전트 루프, 계획 문서와 이어서 보면 데이터 준비, 모델 계산, 출력 제어, 운영 검증 중 어느 위치에 놓이는지 확인할 수 있다.

처리 흐름을 문서화할 때는 입력 형식, 파라미터와 기본값, 실패 조건, 출력 스키마, 관측 가능한 지표를 함께 적는다. 이렇게 해야 같은 이름을 쓰는 서로 다른 라이브러리와 서비스의 동작 차이를 재현 가능한 방식으로 비교할 수 있다.

상태는 대화 기록, 작업 계획, 도구 결과, 장기 기억, 외부 업무 시스템의 현재 값으로 나뉜다. 모든 기록을 프롬프트에 누적하면 비용과 지연이 커지고 오래된 지시가 현재 목표를 덮을 수 있으므로, 원본 사건 로그와 모델에 제공할 요약 상태를 분리하는 편이 낫다. 요약에는 누가 언제 어떤 근거로 값을 바꾸었는지 연결할 식별자가 필요하다. 장기 기억도 모델의 사실 저장소로 간주하지 말고, 출처·유효 기간·접근 권한을 가진 검색 가능한 데이터로 관리한다. 그래야 오래된 정보가 행동을 유도하거나 다른 사용자의 정보가 섞이는 문제를 조사할 수 있다.

MCP처럼 도구와 자원을 기술하는 프로토콜은 모델과 외부 기능 사이의 접속 형식을 표준화하지만, 그 자체가 권한 정책을 결정하지는 않는다. 서버가 제공하는 기능 목록, 클라이언트가 노출하는 기능, 실제 사용자가 허가받은 기능을 각각 제한해야 한다. 읽기, 초안 작성, 승인 대기, 실제 반영을 별도 권한으로 두면 자율성 수준을 단계적으로 높일 수 있다. 도구 설명에는 기능뿐 아니라 부작용과 실패 형태를 적고, 민감한 인자는 로그에서 마스킹한다. 실행 추적에는 모델 버전, 프롬프트 버전, 선택한 도구와 인자, 응답 코드, 소요 시간, 승인 주체를 남겨 재현 가능한 감사 기록을 만든다.

근거 [1] [3]

조사, 코딩, 업무 자동화, 감시와 승인 기반 실행에 사용한다. ‘AI 에이전트’ 개념을 도입할 때는 기대 효과를 품질, 지연 시간, 처리량, 메모리, 비용, 안전성 중 측정 가능한 항목으로 바꾼다. 그다음 단순한 기준선과 비교해 개선 폭과 추가 복잡도를 함께 기록한다.

선택 기준은 “널리 쓰인다”가 아니라 현재 데이터와 사용자의 실패 비용을 얼마나 줄이는가이다. 오프라인 실험, 작은 실제 트래픽, 배포 후 모니터링 순으로 증거를 쌓는 편이 안전하다.

에이전트가 적합한 업무는 목표까지 여러 판단이 필요하고 중간 결과에 따라 다음 행동이 달라지지만, 각 행동의 성공 여부를 관찰할 수 있는 경우다. 반대로 입력과 출력 규칙이 안정적이고 단계가 고정된 업무는 일반 워크플로나 프로그램이 더 저렴하고 예측 가능하다. 자유로운 에이전트와 고정 자동화 사이에는 모델이 계획만 제안하는 방식, 승인된 도구 중 하나를 고르는 방식, 사람이 승인한 단계만 실행하는 방식이 있다. 필요한 자율성의 최소 수준을 선택하면 시험 공간과 피해 범위를 줄일 수 있다.

후보 업무를 평가할 때는 완료율만 보지 않고 사람이 절약한 시간, 수정에 든 시간, 잘못된 외부 행동의 비용과 감사를 위한 운영 비용을 포함한다. 예외가 많다는 이유만으로 에이전트가 유리한 것도 아니다. 예외를 판단할 충분한 상태가 도구로 제공되는지, 성공을 기계적으로 확인할 수 있는지, 실패 뒤 되돌릴 수 있는지가 먼저다. 정보 검색처럼 결과를 검토할 수 있는 과제에서 시작해 읽기 전용 도구와 제한된 데이터로 증거를 쌓고, 동일 실패가 반복되지 않는 통제가 확인될 때만 권한을 넓힌다.

선정 결과는 “에이전트를 도입한다”가 아니라 어떤 단계까지 모델이 제안하고 어떤 단계부터 사람이 승인하는지로 기록한다. 도구가 추가되거나 권한 범위가 바뀌면 이전 평가를 그대로 재사용하지 않는다. 새 행동 공간에 맞춘 공격 시험과 종료 조건을 다시 확인하고, 목표 달성률이 높아져도 무단 변경이나 감사 불가능한 경로가 늘었다면 승격하지 않는다.

판단 기준점: 읽기 전용 과제에서 기준선을 충족한 뒤에도 쓰기 권한은 별도 실험으로 다룬다. 승인 요청의 정보가 충분한지, 거절 뒤 실행되지 않는지, 같은 작업을 다시 시작했을 때 중복 효과가 없는지 확인한다. 세 조건 중 하나라도 충족하지 못하면 모델 성능과 무관하게 제안 전용 단계에 유지한다.

에이전트의 성과 보고에는 사람이 대신 처리한 예외와 수동 복구 시간을 포함한다. 자동 완료로 표시된 작업만 세면 실패를 사람이 뒤에서 고친 비용이 사라진다.

작업 소유자는 자동 실행된 사건을 표본 검토하고, 에이전트가 반복적으로 사람에게 넘기는 예외를 분석한다. 예외가 정책 판단이라면 승인 정보를 개선하고, 도구 데이터 부족이라면 관찰 스키마를 고친다. 모델 재시도만 늘리는 것은 두 원인을 해결하지 못한다.

근거 [1] [3]

자율성은 전부 또는 전무가 아니라 승인 단계·허용 도구·실행 범위로 조절하며, 되돌릴 수 없는 행동은 사람 확인을 거친다.

자율성보다 권한 경계·종료 조건·관측성·사람 승인 설계가 먼저다. 하나의 수치나 데모를 모든 환경에 일반화하지 말고, 데이터 분포·모델 버전·하드웨어·기본 파라미터·평가 방식이 같은지 확인한다. 특히 생성 결과가 자연스럽다는 이유만으로 사실성, 공정성, 보안성까지 확보되었다고 판단하지 않는다.

에이전트는 긴 작업에서 초기에 세운 잘못된 가정을 여러 행동에 걸쳐 증폭할 수 있다. 검색 결과의 악성 지시를 상위 명령으로 오해하는 간접 프롬프트 주입, 도구 설명이 비슷해 잘못된 기능을 고르는 오류, 성공하지 않은 호출을 성공으로 요약하는 오류가 대표적이다. 반복 횟수를 늘리면 항상 더 나아지는 것도 아니다. 동일한 실패를 재시도하며 비용을 소모하거나, 이미 충족된 목표를 다시 수행해 외부 상태를 중복 변경할 수 있다. 그러므로 최대 단계 수, 총 비용, 벽시계 시간, 동일 오류 재시도 횟수와 같은 종료 예산을 모델 바깥에서 강제해야 한다.

위험 평가는 행동의 가역성과 영향 범위를 기준으로 한다. 공개 정보 검색과 임시 초안은 자동화할 수 있지만, 결제·삭제·권한 변경·대외 발송처럼 되돌리기 어려운 행동에는 명시적 승인이 필요하다. 승인 화면에는 모델의 설명만 보여 주지 말고 실제 실행될 대상, 변경 전후 값, 수신자와 비용을 표시한다. 고위험 시스템에서는 허용 목록 기반 도구 선택, 샌드박스 실행, 비밀 값 격리, 독립 정책 엔진을 함께 사용한다. 평가 세트에는 정상 업무뿐 아니라 빈 결과, 느린 응답, 권한 거부, 상충하는 지시와 악성 문서가 포함되어야 실제 운영 경계를 검증할 수 있다.

근거 [4]
  • 에이전트 루프: 관찰·추론·행동·결과 반영을 목표 달성까지 반복하는 실행 구조다.
  • 계획: 목표를 하위 단계와 실행 순서로 분해하고 필요에 따라 계획을 수정하는 과정이다.
근거 [1]

하나의 목표를 관찰, 판단, 도구 실행, 결과 확인 단계로 나눈 추적 기록을 남기면 잘못된 행동의 원인을 찾기 쉽다. ‘AI 에이전트’를 적용하는 경우에는 AI 에이전트는 모델의 언어 생성 능력에 목표, 도구 목록, 상태, 행동 선택 규칙을 결합해 환경에 변화를 일으킨다.

읽기 작업부터 시작해 권한을 점진적으로 넓히고, 비용·반복 횟수·시간 제한과 사람 승인 지점을 종료 조건과 함께 둔다. 이때 에이전트 루프, 계획 문서의 역할을 나란히 비교하면 서로 다른 단계의 설정을 한 원인처럼 해석하는 오류를 줄일 수 있다.

근거 [1] [3]
  1. 목적 정의: ‘AI 에이전트’가 해결해야 할 문제와 해결하지 않아도 되는 범위를 한 문장씩 적는다.
  2. 입력과 조건 확인: 입력 자료의 형식·분포·권한과 기준 시점을 확인한다.
  3. 기준선 설정: 조사, 코딩, 업무 자동화, 감시와 승인 기반 실행에 사용한다. 가장 단순한 방법과 비교할 품질·비용·지연 지표를 고정한다.
  4. 실패 사례 기록: 자율성은 전부 또는 전무가 아니라 승인 단계·허용 도구·실행 범위로 조절하며, 되돌릴 수 없는 행동은 사람 확인을 거친다.
  5. 운영 검증: 버전, 기본값, 데이터 시점과 평가 결과를 기록하고 변경 뒤 같은 시험을 반복한다.
  6. 판단 근거 보존: 성공 사례만 남기지 말고 실패 입력과 원인 가설, 수정 전후 수치를 함께 저장한다. 그래야 담당자가 바뀌거나 모델이 교체되어도 ‘AI 에이전트’에 대한 선택을 다시 검증할 수 있다.
  7. 재검토 조건 지정: 데이터 분포, 모델 버전, 비용 구조 또는 정책이 바뀌면 이전 결론을 그대로 재사용하지 않고 같은 기준으로 다시 평가한다.

에이전트 평가의 최소 단위는 질문 한 건이 아니라 목표, 초기 상태, 허용 행동, 성공 판정식, 비용 예산을 가진 과제다. 정답 문구가 여러 개인 조사 업무는 필수 근거가 모두 포함되었는지와 출처가 연결되었는지를 보고, 상태를 바꾸는 업무는 테스트 환경의 최종 값을 직접 검사한다. 최종 성공률 외에도 불필요한 도구 호출 수, 잘못된 인자 비율, 승인 요청의 적절성, 중단 뒤 복구 가능성, 평균 및 상위 백분위 지연을 기록한다. 같은 과제를 여러 번 실행해 결과 분산을 확인하고, 모델과 도구 버전을 고정한 기준선과 비교한다.

배포는 관찰 전용, 제안 전용, 승인 후 실행, 제한적 자동 실행의 순서로 진행할 수 있다. 관찰 전용 단계에서는 사람이 하던 업무 기록을 재생해 에이전트가 어떤 행동을 선택하는지만 본다. 제안 단계에서는 실제 실행 없이 계획과 인자를 검토하며, 승인 단계에서는 저위험 작업부터 사람 확인을 거친다. 자동 실행으로 전환한 뒤에도 오류율과 승인 회수율이 임계치를 넘으면 즉시 이전 단계로 돌아가는 차단 조건을 둔다. 장애 검토에서는 모델의 마지막 답변보다 사건 로그를 시간순으로 재구성하고, 원인을 모델 판단·도구 계약·권한 정책·외부 서비스로 나누어 수정한다.

근거 [1] [3]
  • 이 개념의 입력과 출력 또는 적용 대상을 한 문장으로 구분할 수 있는가?
  • 기본 정의와 어떤 선후 관계가 있는지 설명할 수 있는가?
  • 이 문서의 주의점을 실제 모델·데이터·API 선택에 적용할 수 있는가?

프로덕션 AI 에이전트 · AI 에이전트 시스템

외부 백과는 표제어 범위와 용어 관계를 대조하는 데 사용했다. Wikipedia 자료는 CC BY-SA 4.0에 따라 출처를 표시하며, 본문은 원문을 복제하지 않고 1차 자료와 함께 재서술했다. Grokipedia는 robots.txt가 허용한 공개 메타데이터만 확인하고 본문은 가져오지 않았다.
  1. ReAct: Synergizing Reasoning and Acting in Language Models — paper
  2. AI agent — Wikipedia — encyclopedia
  3. Model Context Protocol Specification — standard
  4. NIST AI Risk Management Framework — standard