Kết luận cốt lõi
Token giảm 27.1%, Tool Calls giảm 55%, F1 tăng từ 0.844 lên 0.946.
Trên 4 tác vụ định vị code trong một codebase Django, chúng tôi so sánh Kimi K3 thuần với Kimi K3 sau khi kết nối claude-context MCP. Kết quả cho thấy, việc bổ sung năng lực truy xuất ngữ nghĩa đã nâng rõ rệt cả hiệu suất lẫn độ chính xác khi truy xuất code.
01 · Thực đo Kimi K3
Chúng tôi chọn một codebase Django, thiết kế 4 tác vụ định vị code để kiểm tra năng lực truy xuất thuần túy bằng mô hình của Kimi K3. Mỗi tác vụ yêu cầu mô hình định vị vị trí triển khai của một chức năng cụ thể trong codebase.
Hiệu năng của Kimi K3 thuần:
| Chỉ số | Giá trị trung bình |
|---|---|
| Tiêu thụ Token | 125,147 |
| Tool Calls | 4.2 |
| F1 Score | 0.844 |
02 · Tối ưu bằng truy xuất ngữ nghĩa
Sau khi kết nối claude-context MCP, Kimi K3 có thể định vị chính xác đoạn code liên quan thông qua truy xuất ngữ nghĩa trước, rồi mới đọc có chủ đích, từ đó nâng cao hiệu quả đáng kể.
| Chỉ số | Pure Kimi K3 | Kimi K3 + claude-context | Thay đổi |
|---|---|---|---|
| Token trung bình | 125,147 | 91,174 | ↓ 27.1% |
| Tool Calls trung bình | 4.2 | 1.9 | ↓ 55% |
| F1 Score | 0.844 | 0.946 | ↑ 12.1% |
Khoảng cách lớn nhất xuất hiện ở tác vụ datetime_year_bounds_timezone:
Token giảm từ 143,684 xuống 59,375, mức giảm -58.7%. Tác vụ này liên quan đến logic xử lý múi giờ sâu của Django, mô hình thuần cần duyệt lượng lớn file trong khi truy xuất ngữ nghĩa có thể đi thẳng ngay từ đầu.
03 · Hướng dẫn kết nối
1. Chuẩn bị cấu hình Milvus / Zilliz
claude-context dùng vector database để lưu trữ chỉ mục ngữ nghĩa của code. Hỗ trợ Milvus chạy local hoặc Zilliz Cloud.
~/.context/.env. Dùng Zilliz Cloud thì có thể bỏ qua bước triển khai local.
2. Cấu hình .kimi-code/mcp.json
Tạo file .kimi-code/mcp.json tại thư mục gốc của dự án, ghi cấu hình sau vào:
{
"mcpServers": {
"claude-context": {
"command": "bash",
"args": [
"-lc",
"set -a; source ~/.context/.env; set +a; export CUSTOM_EXTENSIONS=.py,.js,.ts,.tsx,.go,.java; export CUSTOM_IGNORE_PATTERNS=node_modules/**,.git/**,dist/**,build/**,*.png,*.jpg,*.jpeg,*.gif,*.svg; npx -y @zilliz/claude-context-mcp@latest"
],
"startupTimeoutMs": 60000,
"toolTimeoutMs": 600000
}
}
}3. Khởi động Kimi Code để dựng chỉ mục
Sau khi khởi động Kimi Code, claude-context MCP sẽ tự động dựng chỉ mục ngữ nghĩa cho codebase. Thời gian dựng chỉ mục lần đầu phụ thuộc vào quy mô codebase; các truy vấn sau trả về trong tầm giây.
04 · Kết luận
- Pure Kimi Code: với hàm nhỏ, đơn file, mục tiêu rõ ràng thì dùng luôn được, không cần cấu hình thêm.
- Kimi K3 + claude-context: với repo lớn, định vị xuyên module, cần hiểu liên kết ngữ nghĩa thì sau khi kết nối hiệu quả rất rõ.
Năng lực truy xuất ngữ nghĩa của claude-context bù đắp điểm yếu "tìm mò" của mô hình thuần trong codebase lớn, đưa mức tiêu thụ token và tool calls về lại ngưỡng hợp lý, đồng thời nâng cao độ chính xác định vị. Đối với kịch bản phát triển có AI hỗ trợ trên codebase cấp doanh nghiệp, đây là một hướng tối ưu đáng đầu tư.
Nguồn
- 📄 Bài gốc trên tài khoản WeChat Official: https://mp.weixin.qq.com/s/Av3Du22F0lTwBK-OVWgFCQ
- 💻 claude-context GitHub: https://github.com/zilliztech/claude-context