16 tháng 11, 2026
Phân tích sâu/Kiểm thử tính năng AI bằng dữ liệu thật, không dùng dữ liệu giả
Dữ liệu giả làm bài kiểm thử AI vượt qua, nhưng sản phẩm vẫn sai. Cách mình kiểm thử đầu-cuối một trợ lý phân tích dữ liệu bằng AI trên cơ sở dữ liệu thật.
Một bài kiểm thử dùng dữ liệu giả (mock) cho bạn biết code chạy được. Nó không cho bạn biết câu trả lời có đúng không.
Với phần mềm thông thường, khác biệt này nhỏ. Với tính năng AI, nó là tất cả.
Vì sao mock “nói dối” với AI
Khi mình làm một trợ lý phân tích dữ liệu bằng AI (bạn hỏi bằng ngôn ngữ thường, nó viết SQL, chạy và trả lời), những lỗi đáng sợ nhất không phải là lỗi crash. Đó là những câu trả lời trông rất hợp lý nhưng sai:
- Câu SQL đúng cú pháp nhưng nối sai bảng, nên doanh thu bị nhân đôi.
- Mô hình hiểu “tháng trước” theo múi giờ khác.
- Tên cột ở cơ sở dữ liệu thật khác hẳn tên cột trong dữ liệu giả.
- Mỗi hệ quản trị (Snowflake, BigQuery, Databricks) có cú pháp riêng mà mock không bao giờ tái hiện được.
Mock trả lời những gì bạn đã dặn nó trả lời. Nên bài kiểm thử luôn xanh, còn người dùng thì nhận con số sai.
Cách mình làm: kiểm thử với dữ liệu thật
1. Dùng cơ sở dữ liệu thật, nhỏ và an toàn. Tài khoản dùng thử của các nhà cung cấp, bộ dữ liệu công khai (ví dụ dữ liệu public trên BigQuery), và luôn dùng quyền chỉ đọc. Không bao giờ thử trên dữ liệu khách hàng.
2. Bộ câu hỏi có đáp án biết trước. Mỗi câu hỏi đi kèm con số đúng, tự tính bằng SQL viết tay. Agent phải ra đúng con số đó, không phải “gần đúng”.
3. Chạy đầu-cuối như người dùng thật. Từ câu hỏi, qua mô hình, qua kết nối cơ sở dữ liệu, đến câu trả lời và biểu đồ trên giao diện. Mỗi lần chạy lưu lại ảnh chụp màn hình làm bằng chứng.
4. Chấp nhận AI không cố định. Cùng một câu hỏi, mô hình có thể viết SQL khác nhau. Mình không so sánh câu SQL, mà so sánh kết quả. Với câu hỏi khó, chạy vài lần và yêu cầu đa số lần phải đúng.
5. Mock vẫn có chỗ của nó. Kiểm thử đơn vị cho phần logic thuần vẫn dùng mock để chạy nhanh. Nhưng một tính năng chỉ được coi là xong khi đã chạy đúng trên dữ liệu thật.
Cái giá phải trả
Kiểm thử thật chậm hơn, tốn tiền gọi mô hình hơn, và thỉnh thoảng hỏng vì lý do bên ngoài (mạng, giới hạn tài khoản). Mình chấp nhận. Một bài kiểm thử chậm mà nói thật vẫn tốt hơn một bài kiểm thử nhanh mà nói dối.
Điều mình học được
Phần lớn những lỗi nghiêm trọng mình tìm ra đều vô hình nếu chỉ dùng dữ liệu giả.
Với AI, câu hỏi kiểm thử không phải là “code có chạy không”, mà là “con số có đúng không”. Và chỉ dữ liệu thật mới trả lời được câu đó.