AI 에이전트 운영: 비용·처리량·권한을 나눠 점검하기

한 번의 호출 가격으로 에이전트의 경제성을 판단할 수 있을까

2026-10-12 정정·보강: 출처를 확인하지 못한 클라우드 매출 증가율·규제 발표·모델 사양은 삭제했습니다. 7월 24일 브리핑의 비용 관리 주제를 운영 해설로 다시 구성하고, TPM과 MCP 설명을 정정했습니다. 아래 API 문서는 수정일에 확인한 자료이며 당시 사양을 재현한 것은 아닙니다.

모델이 저렴해졌다는 소식을 들으면 먼저 호출 단가를 비교하게 된다. 하지만 에이전트는 답변 한 번으로 끝나지 않을 수 있다. 검색과 도구 호출, 실패 후 재시도, 사람의 검토까지 포함해 하나의 업무를 완료하는 비용을 살펴야 한다.

이 글은 기업 전체의 투자 수익률을 추정하는 시장 보고서가 아니라, 팀이 자기 서비스의 운영 비용을 점검하기 위한 제안이다.

요금과 처리량 한도를 서로 다른 칸에 적는다

OpenAI의 Rate limits 문서에서 RPM은 분당 요청 수, TPM은 분당 토큰 수를 뜻한다. TPM은 토큰 가격이 아니며 초당 처리 속도와도 구분해야 한다.

운영 표에는 다음 항목을 나눠 적어보자.

단가가 낮아도 제한에 걸려 대기 시간이 길어질 수 있다. 반대로 한도가 넉넉해도 불필요한 반복 호출을 줄이지 않으면 지출이 늘어난다. 어느 문제가 발생했는지 먼저 구분해야 대응을 정할 수 있다.

캐시는 반복되는 맥락이 있을 때 검토한다

프롬프트 캐시 문서에 따르면 캐시는 요청 앞부분의 동일한 맥락을 재사용한다. 앞부분의 내용이나 관련 설정이 바뀌면 기존 접두부와 일치하지 않을 수 있다. 할인율과 쓰기 요금은 모델별 조건을 확인해야 한다.

따라서 캐시를 켰다는 사실보다 실제 사용량에서 얼마나 재사용됐는지를 확인하자. 공통 지침을 일정하게 유지할 수 있는 작업과 매번 입력이 크게 달라지는 작업을 나눠 비교하면 비용 차이를 해석하기 쉽다. 캐시가 제공하는 절감 가능성을 실제 서비스의 절감률로 취급해서는 안 된다.

성공한 업무 한 건을 분모로 삼는다

비용을 비교할 때는 같은 완료 조건을 쓰자. 초안 생성은 성공했지만 검토에서 탈락한 결과까지 완료 건수에 넣으면 저렴한 구성이 과대평가될 수 있다.

내부 평가에서는 다음처럼 범위를 정할 수 있다.

• 완료 조건: 사람이 승인한 결과, 또는 정해진 검증을 통과한 결과.
• 모델 비용: 실패와 재시도를 포함한 전체 호출 비용.
• 부대 비용: 검색·도구 실행·저장·네트워크 비용 중 해당 작업에 들어간 부분.
• 사람의 시간: 검토와 수정에 걸린 시간을 별도 기록하거나 합의한 기준으로 비용 환산.

이는 이 글의 비교 방법 제안이다. 서로 다른 회사의 매출이나 투자를 같은 식으로 설명하는 공식은 아니다. 백엔드 검증 글에서는 생성 뒤의 재작업을 함께 기록하는 방법을 다뤘다.

권한 경계를 비용 최적화보다 먼저 정한다

MCP는 도구와 맥락을 교환하는 클라이언트·서버 구조를 제공한다. MCP 사용 자체가 데이터 유출을 원천 차단하거나 모든 작업을 승인받게 만드는 것은 아니다.

읽기와 쓰기 도구를 구분하고, 어느 데이터에 접근할 수 있는지와 외부 전송 범위를 먼저 정하자. 그 범위 안에서 모델과 캐시 구성을 비교해야 한다. 권한을 넓혀 얻은 속도 개선은 동일 조건의 성능 비교라고 보기 어렵다.

지금 시작할 일은 모델 이름을 바꾸는 것보다 업무 한 종류의 호출·실패·검토 기록을 모으는 것이다. GPT 계열 API를 도입할 때의 구체적인 점검 순서는 GPT-5.6 API 한도와 캐시·검증 전략에 정리했다.

참고 자료

• Rate limits — OpenAI, 확인일 2026-10-12
• Prompt caching — OpenAI, 확인일 2026-10-12
• MCP Architecture — Model Context Protocol, 확인일 2026-10-12