Trợ lý AI đôi khi tự tin bịa ra một hàm, một tham số hay một tuỳ chọn cấu hình không hề tồn tại, vì nó đoán theo những gì trông hợp lý chứ không tra cứu. Cách phòng là kiểm tra mọi thứ lạ với tài liệu chính thức đúng phiên bản bạn dùng, cho trợ lý đọc tài liệu hoặc mã thật, và nghi ngờ nhất đúng lúc câu trả lời nghe quá tiện.
Chào bạn, đây là Nhà Lập Trình. Ai dùng trợ lý viết mã một thời gian đều từng gặp: nó gợi ý một hàm có cái tên rất hợp lý, bạn gõ vào, chạy thì báo hàm không tồn tại. Hỏi lại, nó xin lỗi và gợi ý một hàm khác, cũng không tồn tại. Tập này kể vì sao điều đó xảy ra và làm gì với nó.
Vì sao trợ lý lại bịa?
Nói đơn giản, trợ lý ngôn ngữ tạo ra câu trả lời bằng cách đoán tiếp những gì trông hợp lý nhất dựa trên rất nhiều văn bản nó đã học. Nó không mở tài liệu ra tra như người. Khi nó đã thấy rất nhiều lần một hàm thật, nó nhớ đúng. Khi nó chưa thấy đủ, nó ghép những mảnh trông hợp lý lại.
Nếu một thư viện có hàm đọc tệp và hàm ghi tệp, thì một hàm tên là ghi tệp nối thêm nghe rất hợp lý. Trợ lý có thể gợi ý nó dù thư viện không có. Cái tên hay đến mức bạn cũng không nghi ngờ.
Điều khiến việc này nguy hiểm là giọng điệu. Trợ lý nói về hàm bịa với cùng một sự tự tin như nói về hàm thật. Không có dấu hiệu ngập ngừng nào để bạn nhận ra.
Việc bịa hay xảy ra hơn với thư viện ít phổ biến, thư viện mới ra, phiên bản mới thay đổi nhiều, hoặc những chức năng hiếm dùng. Với những thứ phổ biến, trợ lý thường chính xác hơn nhiều.
Phiên bản: một dạng bịa khó thấy
Có một dạng sai tinh vi hơn cả bịa hoàn toàn: hàm có thật, nhưng ở phiên bản khác. Trợ lý gợi ý một cách viết đúng với phiên bản cũ, trong khi dự án của bạn dùng phiên bản mới đã đổi tên hàm hoặc đổi tham số. Hoặc ngược lại, gợi ý một tính năng chỉ có ở phiên bản mới hơn bản bạn đang dùng.
Loại sai này khó thấy vì khi tìm trên mạng, bạn sẽ thấy hàm đó có thật, có người dùng. Bạn nghĩ lỗi là do mình, mất thời gian đi tìm nguyên nhân ở chỗ khác.
Khi gặp lỗi kiểu hàm không tồn tại hay tham số không hợp lệ với mã do trợ lý viết, hãy nghĩ ngay tới phiên bản. Kiểm tra dự án đang dùng phiên bản nào của thư viện, rồi mở đúng tài liệu của phiên bản đó.
Nói rõ phiên bản khi giao việc cho trợ lý cũng giúp đáng kể.
Dấu hiệu nên nghi ngờ
Có vài dấu hiệu khiến mình dừng lại kiểm tra. Thứ nhất, câu trả lời giải quyết vấn đề quá gọn. Bạn đã tìm cả buổi không ra cách làm, và trợ lý đưa một hàm làm đúng y như bạn muốn chỉ trong một dòng. Có khi đúng là vậy, nhưng thường đáng kiểm tra.
Thứ hai, tên hàm quá hợp lý, ghép từ những từ phổ biến theo đúng kiểu đặt tên của thư viện. Thứ ba, tuỳ chọn cấu hình có tên rất cụ thể cho đúng trường hợp của bạn.
Thứ tư, khi bạn hỏi lại hoặc nói nó sai, trợ lý nhanh chóng đưa ra một lời giải khác cũng tự tin như vậy. Đó là dấu hiệu nó đang đoán, không phải đang biết.
Thứ năm, trợ lý trích dẫn tài liệu hay đường dẫn cụ thể. Hãy mở ra kiểm tra, vì cả đường dẫn cũng có thể là bịa.
Kiểm tra và giảm bịa
Cách kiểm tra chắc nhất là tài liệu chính thức của thư viện, đúng phiên bản. Tìm tên hàm trong đó. Nếu không có, hàm không tồn tại, dù trợ lý có nói gì. Trình soạn thảo mã có gợi ý tự động dựa trên thư viện thật đã cài cũng giúp: gõ tên hàm mà trình soạn thảo không nhận ra là dấu hiệu đáng ngờ.
Để giảm bịa ngay từ đầu, cho trợ lý đọc tài liệu hoặc mã thật. Nhiều công cụ cho phép trợ lý đọc các tệp trong dự án, kể cả mã của thư viện đã cài. Dán đoạn tài liệu liên quan vào cuộc trò chuyện. Khi có nguồn thật trước mặt, trợ lý bịa ít hơn hẳn.
Nói với trợ lý rằng nếu không chắc một hàm có tồn tại thì hãy nói là không chắc. Nó không hoàn hảo trong việc này, nhưng thường giúp.
Và chạy thử sớm. Đừng để trợ lý viết ba trăm dòng dựa trên một hàm bịa rồi mới chạy. Viết từng phần nhỏ, chạy từng phần.
Thái độ đúng với một công cụ mạnh
Chuyện bịa không có nghĩa là trợ lý vô dụng. Nó vẫn tiết kiệm rất nhiều thời gian, gợi ý hướng đi, giải thích khái niệm, viết những phần lặp lại. Chỉ là cần dùng nó với thái độ đúng.
Thái độ đúng là coi nó như một đồng nghiệp rất rộng hiểu biết nhưng đôi khi nhớ nhầm, và không bao giờ nói mình không nhớ. Bạn sẽ lắng nghe đồng nghiệp đó, nhưng với những chi tiết quan trọng, bạn luôn kiểm tra lại.
Điều này cũng nhắc lại vì sao nền tảng vẫn quan trọng. Người biết thư viện mình dùng, biết đọc tài liệu, sẽ nhận ra hàm bịa trong vài giây. Người không có nền tảng sẽ mất cả giờ, hoặc tệ hơn, không nhận ra.
Một anh lập trình ở Bình Định kể anh dán một tờ giấy nhỏ trên màn hình: tin, nhưng kiểm tra. Anh bảo câu đó áp dụng cho trợ lý AI, cho câu trả lời trên mạng, và cho cả trí nhớ của chính mình.
Câu hỏi thường gặp
Vì sao trợ lý AI bịa ra hàm không có thật?
Vì nó tạo câu trả lời bằng cách đoán những gì trông hợp lý dựa trên văn bản đã học, không tra cứu tài liệu. Với thư viện ít phổ biến hoặc chức năng hiếm, nó dễ ghép ra tên hàm nghe hợp lý mà không tồn tại.
Làm sao biết hàm trợ lý gợi ý có tồn tại không?
Tìm trong tài liệu chính thức đúng phiên bản thư viện bạn dùng, hoặc xem trình soạn thảo có nhận ra tên hàm khi gõ không. Chạy thử sớm cũng giúp phát hiện nhanh.
Làm sao giảm việc trợ lý AI bịa thông tin?
Cung cấp tài liệu hoặc mã thật cho trợ lý đọc, nói rõ phiên bản thư viện, và yêu cầu nó nói rõ khi không chắc. Chia việc nhỏ và chạy thử từng phần.
Trợ lý AI có bịa cả đường dẫn tài liệu không?
Có thể. Đường dẫn và trích dẫn cũng có thể được tạo ra theo cách trông hợp lý. Hãy mở ra kiểm tra trước khi tin.
Có nên ngừng dùng trợ lý AI vì hay bịa không?
Không cần ngừng, vì nó vẫn rất hữu ích. Chỉ cần dùng với thái độ tin nhưng kiểm tra, nhất là với chi tiết quan trọng như tên hàm, tham số và cấu hình.
