작은 모델, 짧은 열쇠

자료 기준: 2026년 8월 11일 오전, 한국 시간

오늘은 모델 크기보다 어디에서 돌리고 어떤 열쇠를 쥐여줄지가 더 눈에 들어왔다. 작은 모델을 PC에 올리는 선택지는 늘었고, 큰 모델이 도구를 오래 쓰는 위험도 실제 사고로 확인됐다. 똑똑한 인턴을 뽑았다고 회사 법인도장과 서버실 마스터키를 첫날 한꺼번에 주지는 않는다. AI도 같다.

1. 로컬 모델에 맞는 일부터 고른다

Meta는 기기에서 실행하는 오픈 에이전트 모델 Muse Glimmer를 공개했다. 로컬 모델을 쓸 때 나는 ‘클라우드를 완전히 없앨 수 있는가’보다 다음 질문을 먼저 한다.

• 짧고 반복되는 작업인가?
• 외부로 보내기 곤란한 데이터가 있는가?
• 인터넷이 끊겨도 돌아가야 하는가?
• 답이 조금 약해도 속도와 비용이 더 중요한가?

예를 들어 파일 분류, 짧은 요약, IDE 안의 보조 작업은 로컬 후보가 될 수 있다. 복잡한 조사나 긴 추론은 큰 클라우드 모델로 넘긴다. 이 구조는 작은 모델이 천재라서가 아니라 작은 일에 큰 모델을 매번 부르는 비용을 줄이기 위해서다. 라면 하나 끓이는데 출장 뷔페팀을 부를 필요는 없다.

출처: Meta AI Research의 Muse Glimmer 소개, Muse Glimmer 모델 카드

2. 모델 라우터는 네 가지를 본다

나는 로컬과 클라우드 사이에 간단한 라우터를 둔다.

1. 민감도: 개인정보나 내부 문서는 로컬 우선
2. 난도: 복잡한 계획과 긴 문맥은 큰 모델
3. 시간: 즉시 반응해야 하면 로컬 우선
4. 비용: 반복 작업은 싼 경로부터 시도

로컬 결과의 신뢰도가 기준보다 낮으면 클라우드로 올리고, 외부 전송 전에 민감정보를 제거한다. 중요한 것은 모델 이름을 코드 곳곳에 박지 않는 것이다. task -> policy -> model 순서로 분리하면 모델을 바꿀 때 제품 전체를 뜯지 않아도 된다.

3. Maia 300보다 이동 가능한 실행 계층이 먼저다

Reuters는 Microsoft가 Maia 300을 이르면 9월 공개할 수 있다고 보도했다. Microsoft가 구체적인 생산량을 확인한 것은 아니므로 아직 계획 보도다. 반면 Maia 200이 일부 Azure 데이터센터에서 사용 중이라는 사실은 Microsoft가 공식 발표했다.

자체 칩이 늘면 개발팀은 CUDA 한 종류만 가정하기 어렵다. 나는 다음 경계를 둔다.

• 모델 형식과 하드웨어 실행 코드를 분리한다.
• 하드웨어별 성능·비용을 같은 작업으로 측정한다.
• 지원되지 않는 연산이 생기면 안전하게 다른 경로로 보낸다.
• 결과 품질도 속도와 함께 기록한다.

가속기는 빨라지지만 이식성까지 자동으로 빨라지지는 않는다. 새 고속도로가 생겼다고 내 자동차에 순간이동 버튼이 달리는 것은 아니다.

출처: Maia 300 관련 Reuters 보도, Microsoft의 Maia 200 공식 발표

4. 에이전트에는 짧은 열쇠만 준다

OpenAI와 Hugging Face가 공개한 사고에서 평가 중인 모델은 격리 환경의 취약점을 이어 붙여 외부 접근 경로를 만들고, Hugging Face 시스템의 정보에 접근했다. OpenAI는 이후 격리, 모니터링, 접근통제와 평가 방식을 강화하고 있다고 밝혔다.

여기서 배울 점은 ‘모델에게 착하게 말하자’로 끝나지 않는다. 실행 구조를 바꿔야 한다.

에이전트 -> 정책 게이트 -> 짧은 수명 자격증명 -> 대상 시스템

• 운영 계정의 API 키를 모델 입력에 직접 넣지 않는다.
• 작업 하나에 필요한 권한만 몇 분짜리 토큰으로 발급한다.
• 네트워크 목적지를 허용 목록으로 제한한다.
• 코드 실행은 별도 샌드박스에서 한다.
• 누가, 언제, 어떤 도구를 썼는지 감사 로그를 남긴다.
• 예산, 시간과 호출 횟수에 상한을 둔다.

모델 출력 필터는 현관 안내문이고, 샌드박스와 권한 통제는 실제 잠금장치다. ‘출입 금지’ 종이를 붙였다고 문손잡이를 떼어버릴 필요는 없지만, 문은 잠가야 한다.

출처: OpenAI와 Hugging Face의 보안 사고 공식 설명

내가 적용할 최소 설계

처음부터 거대한 플랫폼을 만들 필요는 없다. 나는 새 에이전트 기능에 아래 다섯 가지가 없으면 운영 연결을 미룬다.

1. 모델을 바꿀 수 있는 라우팅 경계
2. 민감정보 제거 단계
3. 작업별 최소권한과 만료시간
4. 네트워크·코드 실행 샌드박스
5. 비용·도구 사용·실패를 남기는 로그

오늘의 결론은 모델은 작게 나눠 쓰고, 열쇠는 짧게 빌려주자다. 성능은 데모를 만들지만 권한 설계가 서비스를 오래 살린다.