Nhóm nghiên cứu (BK Hand Rehab), ngành Khoa học máy tính, Đại học Bách khoa TP HCM bắt đầu xây dựng hệ thống nhận dạng cử chỉ tay cho trò chơi điện tử từ tháng 8 năm 2022. Hệ thống được nhóm dần nâng cấp thành game máy tính giúp phục hồi, trị liệu chức năng của tay.
Võ Ngọc Sang, thành viên nhóm nghiên cứu, cho biết các trò chơi của BK Hand Rehab đang được phát triển tập trung hỗ trợ phục hồi chức năng của cổ tay, bàn tay và ngón tay.
Trò chơi được thiết kế, vận hành qua máy tính và thiết bị cảm biến Leap Motion Controller. Ban đầu, người chơi được yêu cầu thực hiện các cử chỉ tay theo hướng dẫn trong từng trò chơi. Cảm biến có khả năng tiếp thu và nhận biết thông tin về vị trí của các điểm nhất định trên bàn tay. Từ đó, nhóm sử dụng thuật toán trí tuệ nhân tạo (AI) cho ra hình dáng và cử chỉ tay tương ứng, tạo thành các hành động trong trò chơi.
Trò chơi giúp người dùng có phản xạ tay linh hoạt. Video: Nhóm nghiên cứu
Hệ thống trò chơi được thiết kế với cấu trúc phân tầng theo cấp độ, nghĩa là ứng với mỗi trò, người chơi sẽ được trải nghiệm từ mức độ dễ đến khó, tạo thêm trải nghiệm thử thách. Game phù hợp với nhiều đối tượng khác nhau như người cao tuổi, khuyết tật hoặc có chấn thương tay đang trong giai đoạn tập vật lý trị liệu. Nhờ nhận diện cử chỉ tay để tương tác với trò chơi, bệnh nhân đang tập vật lý trị liệu có thể thực hành và thư giãn tạo cảm giác thoải mái.
Thông thường, bệnh nhân cần phục hồi chức năng tay sẽ tập luyện các bài tập cơ học đơn giản, hoặc có sự hỗ trợ của hộ lý, bác sĩ. Giải pháp của nhóm dựa trên trò chơi điện tử, giúp quá trình phục hồi trở nên thú vị, bớt nhàm chán.
Hiện BK Hand Rehab triển khai 3 trò chơi cơ bản. Người chơi có thể tập luyện qua các trò chơi dạng tĩnh (chọn hình dáng và màu sắc) hoặc dạng động (di chuyển đồ vật để hứng vật phẩm rơi xuống hoặc điều khiển để né vật cản).
Các trò chơi được nhóm phát triển theo quy trình gồm 5 bước: lên ý tưởng, thiết kế, hoàn thiện, kiểm thử và triển khai. Riêng với các cử chỉ tay được lựa chọn cho từng game, nhóm tham khảo từ các nghiên cứu có nguồn gốc từ các tổ chức uy tín như Viện Đại học Harvard và Dịch vụ Y tế Quốc gia chính phủ Scotland.
Để tập luyện qua các trò chơi, người dùng cần có giá đỡ tay, máy tính và cảm biến Leap Motion Controller. Người dùng được hướng dẫn từng động tác cụ thể tuỳ vào từng thể loại trò chơi và dựa trên tình huống, họ sẽ quyết định thực hiện động tác nào để tương tác với ngữ cảnh tương ứng.
Người dùng trải nghiệm thực tế với game. Ảnh: Nhóm nghiên cứu
Một số người dùng trải nghiệm sản phẩm đánh giá, bài tập dưới hình thức trò chơi tinh gọn, thoải mái, dễ dàng lắp đặt và sử dụng. Nhóm dự kiến nghiên cứu thêm phương pháp khác nhằm tăng độ chính xác khi nhận diện cử chỉ tay và các động tác khó hơn. Đồng thời, các trò chơi cần được cải tiến về đồ họa và cơ chế để thêm trải nghiệm cho người dùng.
PGS. TS Quản Thành Thơ, Phó trưởng khoa Khoa học và Kỹ thuật Máy tính, Đại học Bách khoa (ĐHQG-HCM), giảng viên hướng dẫn, đánh giá BK Hand Rehab mang đến một giải pháp nổi bật so với các phương pháp trị liệu tay truyền thống, nhờ tạo trải nghiệm hồi phục thú vị, giảm cảm giác nhàm chán, giúp tiết kiệm chi phí và không yêu cầu người bệnh phải di chuyển đến các cơ sở y tế.
PGS Thơ nhận định, dự án có tiềm năng lớn dù việc sử dụng trò chơi điện tử để hỗ trợ phục hồi chức năng tay không phải ý tưởng mới, từng được nhiều nghiên cứu trước đây đề cập và hiện thực hóa. Tuy nhiên các nghiên cứu trước đó còn nhiều hạn chế như việc lựa chọn động tác cho trò chơi không phù hợp, bước nhận diện cử chỉ tay chưa đạt đến độ chính xác và tốc độ mong đợi. "BK Hand Rehab đã giải quyết được nhiều vấn đề mà các nghiên cứu gặp phải trước đó", ông nói.
Ông cũng thêm rằng, qua phản hồi thực tế từ người sử dụng, trò chơi cần được điều chỉnh để phù hợp với bệnh nhân. Thứ hai, nhóm cần sự công nhận về độ hiệu quả của giải pháp từ giới chuyên gia vật lý trị liệu. "Đây là những điểm cần hoàn thiện", ông nói và cho biết đang cùng với khoa Khoa học và Kỹ thuật Máy tính hỗ trợ nhóm để liên kết với các trung tâm y tế và bệnh viện chấn thương chỉnh hình, nhằm mục đích thực hiện nghiên cứu cần thiết.
Dự án Hand Rehab mới đây thắng giải nhất cuộc thi Sáng kiến vì cộng đồng 2023 do tổ chức phi lợi nhuận SonTa Foundation tổ chức.
Các thành viên nhóm nhận giải nhất hạng mục ứng dụng trí tuệ nhân tạo nâng cao chất lượng giáo dục cho nhóm yếu thế. Ảnh: NVCC
Bích Thảo