Trí tuệ nhân tạo có khả năng đánh bại con người trong môn cờ vua, nhưng sẽ thắng hay thua khi phải đối mặt với các câu đố dựa trên ngôn ngữ? Một khám phá mới có lời giải đáp.
Trong nỗ lực tìm hiểu, một nhóm các nhà nghiên cứu từ Tandon School of Engineering của New York University (NYU) thử thách nhiều Hệ Thống Xử Lý Ngôn Ngữ Tự Nhiên (Natural Language Processing Systems – NLPs) hiện đại để giải câu đố hàng ngày của The New York Times, Connections.
Connections (Những Kết Nối) là trò chơi chữ, trong đó người chơi có năm lần thử để nhóm 16 từ thành bốn nhóm bốn dựa trên các kết nối của những từ đó. Các nhóm bao gồm từ “đơn giản” (được kết nối thông qua các định nghĩa đơn giản) đến “khó khăn” (được kết nối thông qua các liên kết từ trừu tượng đòi hỏi tư duy phản biện nhiều hơn).
Graham Todd, nghiên cứu sinh tiến sĩ tại Phòng Thí Nghiệm Đổi Mới Trò Chơi (Game Innovation Lab-GIL) của NYU, cho biết: “Các mô hình ngôn ngữ lớn đang ngày càng trở nên phổ biến và việc điều tra xem các mô hình ngôn ngữ thất bại ở đâu trong bối cảnh câu đố “Connections” tiết lộ những hạn chế trong cách xử lý thông tin ngữ nghĩa.”
Trong một nghiên cứu gần đây, Todd và các đồng nghiệp tại GIL, gồm cả nhà điều hành của cơ sở này, Julian Togelius, thiết lập một thử nghiệm để khám phá cách hai phương pháp tiếp cận trí tuệ nhân tạo khác nhau hoạt động trong trò chơi “Connections.”
Cách tiếp cận đầu tiên tận dụng ChatGPT quen thuộc của OpenAI (cụ thể là GPT-3.5 và GPT-4 được phát hành gần đây); mô hình nhúng câu thứ hai được sử dụng, như BERT và MiniLM, thiếu khả năng hiểu ngôn ngữ đầy đủ của các mô hình ngôn ngữ lớn.
Nói chung, AI phải “vật lộn” để hoàn thành các câu đố. GPT-4, mô hình thành công nhất, chỉ giải được khoảng 29% số câu đố, vất vả nhiều hơn với những liên tưởng “rắc rối,” giống như con người. Khi GPT-4 được đưa ra lời nhắc từng bước để hướng dẫn nó giải quyết câu đố, hiệu suất của nó tốt hơn một chút, ở mức 39%, nhưng vẫn còn lâu lắm AI mới làm chủ được tình thế.
Timothy Merino, một nghiên cứu sinh tiến sĩ khác tại GIL, đồng tác giả của thử nghiệm, cho biết: “Khám phá của chúng tôi xác nhận nghiên cứu trước đây cho thấy kiểu nhắc nhở ‘chuỗi suy nghĩ’ này có thể khiến các mô hình ngôn ngữ suy nghĩ theo những cách có cấu trúc hơn. Việc yêu cầu các mô hình ngôn ngữ giải thích lý do về nhiệm vụ mà những mô hình này đang hoàn thành sẽ giúp bản thân các mô hình ngôn ngữ thực hiện tốt hơn.”
Thử nghiệm như thế này giúp các nhà khoa học đánh giá khả năng của AI và khám phá tiềm năng của các mô hình như GPT-4 để sử dụng trong việc sản xuất các câu đố chữ mới trong tương lai.
Kết quả nghiên cứu sẽ được trình bày tại Hội Nghị Về Trò Chơi (Conference on Games) năm 2024 của Viện Kỹ Sư Điện và Điện Tử (Institute of Electrical and Electronics Engineers) tại Milan, Ý, từ ngày 5 đến ngày 8 Tháng Tám.
(theo Newsweek)
