⚡ 한 줄 요약
Moonshot가 Kimi K3-256K를 내놨다. 풀버전 K3와 똑같은 두뇌에, 비디오 입력을 잘라내고, 컨텍스트 윈도우를 256K에서 hard cap으로 단단히 묶었다. 겉보기엔 다운그레이드처럼 보이지만, 개발자 커뮤니티가 계산기를 두드려 본 뒤 내린 결론은 놀랍도록 하나같다——이게 현실적인 정답이다. 왜냐면 긴 컨텍스트 자체가, 당신 청구서에 숨어있는 가장 큰 비용 암살자니까.
코딩 작업에서 비용의 대부분을 차지하는 건 입력도, 출력도 아니다——컨텍스트다. 컨텍스트를 5만에서 백만 단위로 밀어올리면, 평균 토큰 소모가 한 자릿수 통째로 튄다. 캐시 가격이 바닥까지 내려가 있지 않는 한, 그대로 '토큰 암살자'다. Kimi가 컨피그 레벨에서 컨텍스트를 잘라낸 건, 당신을 대신해 가장 비싼 스위치부터 꺼버린 셈이다.
💸 왜 긴 컨텍스트가 돈을 잡아먹는가
코딩 작업에서 계속 재확인되는 사실이 하나 있다. 캐시 가격이 내려가 있지 않는 한, 당신이 내는 돈의 대부분은 토큰 중 '컨텍스트' 부분에 앉아 있다. 윈도우가 클수록, 매 턴마다 점점 더 커지는 산을 왕복으로 부대끼는 꼴이다.
그런데 전제가 하나 있다——캐시 적중 가격이 충분히 저렴해야, 긴 컨텍스트도 '감당 가능한 비싸짐'이다. 지금 시장에서 캐시 가격을 제대로 끌어내린 곳은 DeepSeek과 MiMo 둘뿐이다. 그래서 백만 토큰 윈도우까지 '쓸 만한' 걸로 인정받는 것도 이 둘뿐이다. 나머지는 긴 컨텍스트 과금이 사실상 터무니없고, 합리적인 기본값은 늘 짧은 컨텍스트다.
계산은 냉정하다. 1M 컨텍스트는 실사용 기준 평균 약 500K로 잡히고, 이를 50K와 비교하면 비용 차이가 정확히 10배다.
10만 쯤에서 습관적으로 한 번 압축하면, 평균 컨텍스트는 50K 부근에서 버틴다. 반대로 99만까지 밀어붙이고 시스템 자동 압축을 기다리면, 평균이 500K가 된다. 같은 '긴 컨텍스트 모델'인데도 두 번째 습관이 첫 번째보다 10배 비싸다. 256K 티어 안에서조차, 한 대화가 20만까지 가면 5만 기준 대비 4배 비용이 나온다.
이 모든 건 캐시 적중 가격이 진짜로 쌀 때만 예외가 된다. 대부분 주류 모델은 캐시 가격도 여전히 비싸서, 주 비용은 계속 컨텍스트 위에 앉아 있다——그리고 긴 컨텍스트는 무조건 청구서를 끌어올린다. 컨텍스트를 능동적으로 제한하면, 에이전트 하네스가 알아서 컨텍스트 크기를 통제한다. 그게 진짜로 비용을 깎아내는 움직임이다.
🧠 대부분 '컨텍스트 관리' 개념이 없다
더 깊은 문제는 습관에 있다. 꽤 많은 사람이 컨텍스트를 능동적으로 관리하겠다는 본능이 아예 없다——전부 하네스(에이전트 소프트웨어 레이어)와 그 자동 압축에 떠넘긴다. 더 심한 건, 가장 비싼 모델을 골라잡고 한 대화를 끝까지 끌고 가다가, 컨텍스트가 1M에서 터질 때 비로소 압축을 발동시키는 패턴이다.
이런 식이면 '몇 번 안 가서 쿼터가 동났다'는 거의 필연이다. Kimi 페쑤(Feishu) 그룹에서 "사용량도 적은데 몇 턴 만에 동났다"며 까이는 현상은, 십중팔구 이 사용 패턴과 직결되어 있다. 그룹의 공식 안내문엔 "사용 시나리오의 90%가 256K 컨텍스트를 넘지 않는다"고 적혀 있는데, 이를 뒤집어 읽으면 여전히 약 10%의 유저가 K3로 긴 컨텍스트를 태우고 있다는 뜻이다.
그리고 K3 문서에 묻혀 있던 한 줄이 있다——"K3로 전환하기 전에 새 대화를 시작하는 걸 권장한다." 원래 친절한 조언이었다. 그런데 많은 사람이 이걸 아예 읽지 않았다. 이미 20만 이상 쌓인 낡은 대화를 K3로 그대로 옮긴 뒤, 자동 압축이 걸리기 전까지 1M 한계까지 밀어붙인 것이다. 이런 쓰기법을 버티는 요금제는 없다. 그 문서 한 줄은 사실상 사전 화재 진화용에 가깝다.
GPT 5.6 Sol이 Codex에서 기본 컨텍스트 윈도우를 272K에서 372K로 올렸을 때, 즉시 "토큰이 안 간다"는 불만을 잔뜩 들었다. Tibo가 나서서 두 티어 사이 Auto Compact 차이가 그렇게 크지 않다고 설명했지만 압박은 사라지지 않았고, 결국 기본값을 조용히 원래대로 돌렸다. 기본 컨텍스트를 빵빵하게 땡기는 건, 득보다 실이 많은 설계다.
🔍 '캐시 적중률 98%'은 사실 위험 신호
커뮤니티에는 자기 캐시 적중률이 98%, 99%라며 자랑하는 사람이 꼭 있다. 절약하고 있다는 증거처럼 쓰는데, 이 직관은 거꾸로일 확률이 높다.
하네스 레이어의 캐시 적중률은 벤더 간에 크게 차이 나지 않는다. 비정상적으로 높은 적중률은 보통 한 가지를 뜻한다——당신이 긴 컨텍스트에 강하게 기대고 있다는 것. 그리고 긴 컨텍스트가 바로 비싼 부분이다. 즉, '높은 적중률'을 다르게 읽으면 "가장 비싼 자리에서 가장 많이 쓰고 있다"는 말이 된다.
결국 모든 시나리오가 긴 컨텍스트를 필요로 하진 않는다. 컨텍스트를 능동적으로 통제하는 법을 익혀야, 그 비싼 모델들도 겨우 '쓸 만한' 수준이 된다. 당신이 한 대화를 끝까지 끌고 가며 1M 자동 압축을 기다리는 타입이라면, DeepSeek과 MiMo를 빼고는 나머지 모든 모델이 당신 예산을 털어놓을 것이다.
🏷️ 256K 버전이 싸질까? 대체로 아니다
이 새 모델 ID가 더 싼 가격에 나올 거라는 추측이 돌고 있다. 대체로 아니다——같은 가격이다. 공식 과금 배율은 모델 자체가 싸진 게 아니라, 긴 컨텍스트 입력과 캐시 적중 오버헤드에서 주로 나온다.
평균 사례 기준으로 격차는 약 3배에 달한다. 다만 대부분의 대화는 1M 근처에 가본 적도 없기 때문에, 공식 입장은 보수적으로 "약 2배 예상"이라고 둘러댄다.
256K 캡에서 평균 컨텍스트 길이는 약 150K; 1M 캡에서 평균은 약 600K——캐시 가격만으로 4배 격차가 벌어진다. 하나의 프롬프트는 평균 약 8개 메시지 턴으로 구성되고, 턴당 입력 4K·출력 600 토큰이라고 잡으면, 실제 입력/출력이 청구서에서 차지하는 비중은 꽤 작다.
그러니 가성비 향상은 '모델 컨피그 레벨에서 긴 컨텍스트를 잘라내는 행위' 자체에서 나온다——가격 인하에서가 아니다.
바로 그래서 Kimi가 굳이 별도 버전의 모델을 만들어서, 컨피그 레벨에서 긴 컨텍스트를 끊어낸 것이다. 유저가 실제로 하는 작업의 가성비를 진짜로 끌어올리는 수는 이것뿐이다.
📊 실측: 풀버전 대비 약 3분의 1
댓글 스레드에서 메모해둘 만한 실측과 잡지식 몇 가지:
- 잡지식: Codex와 Cursor 모두 1M 모델에 연결되어 있지만, 실제로 쓸 수 있는 컨텍스트는 2–3십만에 불과하다.
- 손해가 얼마나 되나: 같은 작업으로 돌려보니, 이 256K 버전이 태운 쿼터는 풀버전의 약 1/3 수준이었다——긴 컨텍스트 자체가 토큰 소모를 부풀리기 때문이다. 동일한 완료 기준으로 다시 재면, 같은 작업이 예전의 약 40% 정도로 떨어진다.
- 롱런 작업: kimi cli에서 1~2시간짜리 작업이 주간 쿼터의 5.53%를 태웠다; 예전엔 기본적으로 시간당 10% 이상이었다.
- 품질이 흔들리나: 그렇다——리뷰 뒤 약간의 리워크가 필요하고, 풀버전은 거의 리워크가 필요 없다.
- 비디오·1M의 컴퓨트: 비디오 입력과 1M 윈도우를 잘라내면, 컴퓨트 수요가 최소 절반으로 줄어든다.
199 요금제 유저에겐 원래부터 쿼터가 심각히 부족했는데, 깎인 버전을 쓰면 숨통이 좀 트인다. 그리고 핵심은——K3 MAX의 1M 버전은 여전히 사용 가능하다는 점이다. ChatGPT처럼 1M을 쓰려면 API 과금으로 넘어가야 하는 것과 다르다.
즉, 저비용 티어 위에 선택지가 하나 더 주어진 셈이다(공식 컴퓨트 부담도 같이 줄어든다). 이득만 있고, 잃을 건 없다.
🎯 결론
대부분에게 긴 컨텍스트는 토큰 암살자다——캐시 가격을 바닥까지 내린 DeepSeek과 MiMo를 빼면, 나머지 모든 모델이 조용히 잔고를 비우고 있다.
Kimi K3-256K는 컨피그 레벨에서 캡을 걸어, 유저 대신 돈 쓰는 자세를 통제한다. 컴퓨트가 항상 빡빡한 팀 입장에서 꽤 괜찮은 수다. 진짜 비싼 건 모델이 아니라, 당신이 '감당 가능할 거라 착각한 그 무한'이다.
본문은 Kimi K3-256K 발표를 둘러싼 개발자 커뮤니티의 공개 논의와 실측에 기반한다. 수치와 견해는 모두 커뮤니티 피드백에서 온 것이며 참고용이다. 실제 과금은 Moonshot 공식을 기준으로 한다.