Theo Business Insider, Google không có thời gian và nhân lực đánh giá và cải thiện chất lượng phản hồi do Bard đưa ra. Thay vào đó, công ty giao nhiệm vụ cho các đối tác thực hiện điều này.
Theo bốn nguồn tin từ nhà thầu của Google cũng như tài liệu nội bộ, việc thử nghiệm Bard diễn ra vội vã do họ không có đủ thời gian để xác minh câu trả lời đúng từ chatbot AI.
Logo Google Bard hiển thị trên smartphone. Ảnh: Adobe Stock
Google hiện thuê bên thứ ba kiểm thử hệ thống của mình. Với tên gọi "Người đánh giá", các nhà thầu làm nhiệm vụ kiểm tra thuật toán tìm kiếm của Google, mức độ liên quan của quảng cáo được đặt trong kết quả, cũng như gắn cờ các website có hại và ngăn chúng xuất hiện trong trang tìm kiếm.
Tuy nhiên từ tháng 1, phần lớn công việc của Người đánh giá là cải thiện phản hồi AI. Khi đặt câu hỏi, chatbot Google đưa ra khoảng 2-3 câu trả lời khác nhau. Nhiệm vụ của những người trên là chọn phản hồi tốt nhất và đưa nó lên thứ tự ưu tiên. Mỗi người có thời gian từ một đến vài phút để hoàn thành và nhận được tiền.
Thế nhưng, đa số cảm thấy thất vọng vì chatbot "không thông minh như mong đợi". Do đó, nhóm không có thời gian để chấm điểm chính xác. Họ cũng thừa nhận rất khó đánh giá phản hồi do không am hiểu về một số chủ đề chatbot đang nói đến, chẳng hạn kỹ thuật blockchain.
Để đẩy nhanh tiến độ, Người đánh giá dùng đến thủ thuật. Một nguồn tin nói họ và đồng nghiệp buộc phải hoàn thành nhiệm vụ ngay cả khi biết không thể đánh giá chính xác phản hồi của chatbot. "60 giây không đủ cho công việc này, nhưng chúng tôi vẫn phải làm", một người nói.
Google chưa đưa ra bình luận.
Hiện RaterLabs của Appen là một trong những đối tác lớn nhất của Google về kiểm thử AI. Nhân viên công ty nhận khoảng 14 USD mỗi giờ làm việc, tăng so với 10 USD năm ngoái. Tuy vậy, những người này đang yêu cầu mức lương cao hơn vì theo quy định của Google, đối tác bên thứ ba phải trả tối thiểu 15 USD mỗi giờ cho nhân viên nếu họ kiểm thử các sản phẩm của hãng.
Google ra mắt Bard ngày 6/2. Tuy nhiên, ngay khi vừa trình làng, chatbot được xem là đối thủ của ChatGPT đã trả lời sai câu hỏi về kiến thức. Điều này khiến Google mất 100 tỷ USD giá trị vốn hóa thị trường sau đó. Trước khi giới thiệu Bard, Google cũng được cho là đã yêu cầu nhân viên toàn thời gian dành từ hai đến bốn giờ để trò chuyện với bot mới. Họ sẽ đặt câu hỏi, gắn cờ các câu trả lời không đáp ứng các tiêu chuẩn về độ chính xác và các yếu tố khác.
Bảo Lâm (theo Business Insider)