Kesimpulan Inti

Hasil pengujian Kimi K3 + claude-context MCP:
Token turun 27,1%, Tool Calls turun 55%, F1 naik dari 0,844 menjadi 0,946.

Pada 4 tugas lokalisasi kode di basis kode Django, kami membandingkan performa Kimi K3 murni dengan Kimi K3 setelah dipasangi claude-context MCP. Hasilnya menunjukkan bahwa dukungan kemampuan retrieval semantik secara signifikan meningkatkan efisiensi dan akurasi retrieval kode.

01 · Pengujian Kimi K3

Kami memilih basis kode Django dan merancang 4 tugas lokalisasi kode untuk menguji kemampuan retrieval murni dari model Kimi K3. Setiap tugas mengharuskan model menemukan lokasi implementasi fungsi tertentu di dalam basis kode.

Hasil Kimi K3 murni

Performa Kimi K3 murni:

MetrikRata-rata
Konsumsi Token125.147
Tool Calls4,2
F1 Score0,844
Statistik token
Observasi: model K3 murni cenderung menyempitkan cakupan dengan membaca berkas dan melakukan pencarian secara berulang, sehingga konsumsi token menjadi lebih tinggi dan tool calls lebih banyak.

02 · Optimasi dengan Retrieval Semantik

Setelah memasang claude-context MCP, Kimi K3 bisa lebih dulu menemukan fragmen kode yang relevan secara presisi melalui retrieval semantik, lalu melakukan pembacaan yang terarah — sehingga efisiensi meningkat drastis.

Perbandingan keseluruhan
MetrikPure Kimi K3Kimi K3 + claude-contextPerubahan
Rata-rata Token125.14791.174↓ 27,1%
Rata-rata Tool Calls4,21,9↓ 55%
F1 Score0,8440,946↑ 12,1%
Perbandingan F1

Selisih terbesar muncul pada tugas datetime_year_bounds_timezone:

Perbaikan tunggal terbesar:
Token turun dari 143.684 menjadi 59.375, penurunan -58,7%. Tugas ini menyangkut logika mendalam penanganan zona waktu Django; model murni perlu melakukan banyak traversal, sementara retrieval semantik bisa langsung tembus sasaran dalam satu langkah.
Perbandingan jalur pencarian

03 · Panduan Pemasangan

1. Siapkan konfigurasi Milvus / Zilliz

claude-context memakai basis data vektor untuk menyimpan indeks semantik kode. Mendukung Milvus lokal maupun Zilliz Cloud.

Konfigurasikan informasi koneksi basis data vektor di ~/.context/.env. Memakai Zilliz Cloud memungkinkan Anda melewatkan deployment lokal.

2. Konfigurasi .kimi-code/mcp.json

Buat berkas .kimi-code/mcp.json di root proyek, lalu tulis konfigurasi berikut:

{
  "mcpServers": {
    "claude-context": {
      "command": "bash",
      "args": [
        "-lc",
        "set -a; source ~/.context/.env; set +a; export CUSTOM_EXTENSIONS=.py,.js,.ts,.tsx,.go,.java; export CUSTOM_IGNORE_PATTERNS=node_modules/**,.git/**,dist/**,build/**,*.png,*.jpg,*.jpeg,*.gif,*.svg; npx -y @zilliz/claude-context-mcp@latest"
      ],
      "startupTimeoutMs": 60000,
      "toolTimeoutMs": 600000
    }
  }
}

3. Jalankan Kimi Code untuk membangun indeks

Setelah Kimi Code dijalankan, claude-context MCP akan otomatis membangun indeks semantik untuk basis kode Anda. Waktu pengindeksan pertama bergantung pada ukuran basis kode, sementara kueri berikutnya bisa kembali dalam hitungan detik.

04 · Kesimpulan

Rekomendasi pemilihan:
  • Pure Kimi Code: untuk skenario berupa fungsi kecil, satu berkas, atau target yang sudah jelas — bisa langsung dipakai tanpa konfigurasi tambahan.
  • Kimi K3 + claude-context: untuk basis kode besar, lokalisasi lintas modul, atau skenario yang menuntut pemahaman hubungan semantik — efeknya sangat terasa setelah dipasang.

Kemampuan retrieval semantik dari claude-context menutupi kekurangan model murni yang cenderung "mencari buta" di basis kode besar, menurunkan konsumsi token dan tool calls ke tingkat yang wajar, sekaligus meningkatkan akurasi lokalisasi. Untuk skenario pengembangan berbantuan AI pada basis kode tingkat enterprise, ini adalah arah optimasi yang sepadan untuk ditanam investasinya.

Sumber