AI 비용에 선을 그었다

AI에게 일을 하나 더 맡기려다 문득 비용부터 떠올랐다. 한 번의 요청은 작아 보여도, 자동 작업이 같은 일을 계속 반복하면 이야기가 달라진다. AI가 일을 끝내기도 전에 영수증부터 길게 뽑는 장면이 머릿속에 그려졌다.

그래서 Vercel의 공식 발표를 다시 읽었다. AI Gateway는 여러 AI 모델로 가는 요청을 한곳에서 보고 관리하는 중간 문이라고 이해하면 쉽다. 내가 챙길 것은 네 가지뿐이었다.

먼저 어디에 썼는지 본다

Vercel은 AI Gateway 정식 출시 발표에서 비용과 사용량을 확인하고, 한 공급자에 문제가 생기면 다른 곳으로 요청을 넘길 수 있다고 설명한다.

영수증이 있다고 돈을 아끼는 것은 아니다. 그래도 어떤 요청이 오래 걸렸는지, 토큰을 얼마나 썼는지, 비용이 어디서 늘었는지는 알 수 있다. “이번 달은 왠지 많이 나왔다”보다 훨씬 쓸모 있는 출발점이다.

쓸 수 있는 금액을 정한다

API 키별 예산 기능을 쓰면 키마다 금액 한도와 갱신 주기를 정할 수 있다. 한도를 다 쓰면 요청이 멈춘다.

나는 이 기능이 가장 마음에 들었다. 월말 보고서는 이미 나간 돈을 알려 주지만, 예산 한도는 실수가 작을 때 멈춰 준다. 특히 자동 작업은 한 번의 실수보다 같은 실수를 쉬지 않고 반복하는 쪽이 더 무섭다.

모델 이름보다 기준을 고른다

공급자 정렬 기능은 비용, 첫 응답이 시작되는 시간, 처리량을 기준으로 순서를 정할 수 있다. 가장 싼 선택이 늘 정답은 아니다. 초안은 비용, 대화는 빠른 응답, 긴 작업은 처리량이 더 중요할 수 있다.

라우팅 규칙을 쓰면 앱 코드를 고치지 않고도 특정 모델 요청을 다른 모델로 바꾸거나 막을 수 있다. 다만 자동으로 바뀌었다고 결과까지 자동으로 좋아지는 것은 아니다. 바꾼 뒤에는 품질과 속도, 비용을 다시 확인해야 한다.

머릿속으로 돌려 본 세 장면

아래는 실제 사고가 아니라, 기능을 이해하려고 떠올린 가상 장면이다.

• AI가 요약한 글을 다시 요약하고, 또 한 줄로 줄이다가 영수증만 두루마리처럼 길어졌다. 예산 한도가 먼저 멈춤 버튼을 눌렀다.
• 오전에는 빠른 공급자가 1등, 오후에는 싼 공급자가 1등이다. 내가 팬클럽을 옮길 필요는 없다. 작업 기준만 정하면 된다.
• 이미 끝난 모델 이름을 코드 곳곳에서 부르고 있다. 라우팅 규칙이 새 모델로 보내거나, 준비가 안 됐다면 분명하게 거절한다.

내가 정한 순서는 간단하다.

1. 요청 수와 비용을 먼저 보이게 한다.
2. 작업마다 키를 나누고 감당할 수 있는 한도를 건다.
3. 비용, 응답 속도, 처리량 중 중요한 기준 하나를 고른다.
4. 모델을 바꾼 뒤에는 대표 작업으로 다시 시험한다.

AI에게 일을 더 주기 전에 카드 한도부터 정하기. 조금 짠 사람처럼 보여도, 운영에서는 그 편이 오래 간다.