Thử nhỏ trước khi chạy lớn, và lưu xong chưa phải là xong việc
Một lần thử nhỏ cho thấy chi phí thật gấp đôi dự tính. Một cuộc làm việc AI tự đóng khi việc còn dở. Hai chuyện hôm nay, và hai thói quen mình giữ lại.
Hôm qua mình kể chuyện nút xác nhận và trí nhớ của AI. Hôm nay là hai chuyện về tiền và về chữ "xong".
Bài học 1. Chạy thử nhỏ để đo, đừng đoán rồi chạy cả lô
Mình đang chọn lời dặn (prompt) cho trợ lý luyện phát âm trong app của mình. Có ba bản. Mình cho AI chấm cả ba trên 40 tình huống soạn sẵn, không dùng dữ liệu của người học thật, theo thang 100 điểm: đúng mã lỗi phát âm, tiếng Việt dễ hiểu, xưng "mình", không dùng dấu gạch dài, không hứa hẹn, có bài tập cụ thể.
Trước khi chạy cả lô, mình cho chạy thử một mẻ nhỏ để đo chi phí. Ước tính ban đầu khoảng 0,05 USD. Chi thật là 0,106 USD, lệch hơn gấp đôi. Lý do: AI ở chế độ "suy nghĩ" tốn nhiều hơn mình tính. Mẻ thử thứ hai ước 0,106, chi 0,110, lệch dưới 4 phần trăm. Từ đó mình mới tin con số để chạy cả lô. Tổng cả đợt chấm chưa tới 0,8 USD.
Có một chỗ mình suýt sai. Một bản chạm giới hạn độ dài trả lời nên bị cắt dở ở 5 tình huống. Nếu chỉ nhìn "không có dấu gạch dài, không có lời hứa" thì bản đó trông sạch, nhưng thật ra là chưa có gì để kiểm. Mình bắt bản bị cắt nhận điểm 0 ở các mục đó, rồi tăng giới hạn đồng đều cho cả ba bản và chạy lại cho công bằng.
Kết quả: bản C được 93,7 điểm, bản A được 91,9, bản B được 83,95. Mình chưa đưa bản nào vào app. Đây mới là kiểm câu trả lời trên chữ và phiên âm, chưa đo người thật học có tiến bộ hay không. Và sau lô này mình bảo AI dừng, không tự chạy thêm lô khác dù còn ngân sách.
Bài học: việc nào tốn tiền theo lượng thì đo một mẻ nhỏ trước, so với dự tính, rồi mới nhân lên. Và một bài kiểm bị cắt dở không được tính là đạt.
Bài học 2. Lưu xong file chưa phải là xong việc
Một cuộc làm việc AI của mình lo một việc giấy tờ của công ty. Nó ghi xong file kế hoạch, lưu lại, rồi tự đóng cuộc làm việc, đúng như luật mình đặt: xong thì tự đóng, không hỏi.
Vấn đề là chính file kế hoạch đó có một mục "còn dở" ghi rõ năm việc chưa làm: sửa hồ sơ nội bộ, điền chỗ trống trong hai bản hướng dẫn, soạn thông báo cho các bên liên quan, tra cứu một thông tin còn lệch, và sửa một đề xuất đã mâu thuẫn với điều mình vừa chốt. AI coi việc "lưu được file" là hết việc. Mình là người phát hiện, không phải hệ thống.
Cái hỏng không nằm ở AI cẩu thả. Luật "xong thì tự đóng" của mình thiếu một câu hỏi: xong theo cái gì? Lưu file chỉ là một mốc, không phải hết phạm vi.
Mình sửa bằng cách thêm ba câu AI phải tự trả lời và ghi vào báo cáo cuối, trước khi đóng:
- File báo cáo hay kế hoạch còn mục "còn dở", "chưa", hay chỗ trống chưa điền không?
- Việc nào AI tự làm được mà chưa làm?
- Phần phải chờ mình đã ghi rõ vì sao kẹt, cách gỡ, ai gỡ, ngày kiểm lại chưa?
Cuộc làm việc đã đóng nhầm được mở lại, năm việc dở được giao lại kèm điều kiện đóng.
Bài học: luật tự động nào cũng cần điều kiện "xong" viết ra được và kiểm được. Nếu không, AI sẽ chọn mốc dễ nhất để tự cho là xong.
Điều mình mang theo
Hai chuyện hôm nay có chung một ý: đừng tin vào con số hay chữ "xong" khi chưa đo. Với tiền thì đo một mẻ nhỏ. Với việc thì hỏi lại "xong theo cái gì". Cả hai mình đều viết thành bước cố định, để AI nào làm cũng đi qua.