HỌC TĂNG CƯỜNG – PHÁT TRIỂN VÀ ỨNG DỤNG / LÝ THUYẾT THỰC TIỄN CHO ĐIỀU KHIỂN ROBOT VÀ PHÁT TRIỂN TRÒ CHƠI

LỜI NÓI ĐẦU

Học tăng cường (Reinforcement Learning / 強化学習) là một lĩnh vực của Học máy (Machine Learning / 機械学習), là một phương pháp luận để học các quy tắc hành vi và ra quyết định tùy theo tình huống. Khi nghiên cứu và giảng dạy với tư cách là một chuyên gia về Học tăng cường, tôi thường nghe các nhà nghiên cứu và sinh viên xung quanh phàn nàn rằng “Học tăng cường rất khó”. Quả thực, khi phân loại các công nghệ Học máy, nó thường được giải thích như một danh mục riêng biệt, như thể nó là một thứ hoàn toàn khác biệt so với Học có giám sát (Supervised Learning / 教師あり学習) và Học không giám sát (Unsupervised Learning / 教師なし学習). Hơn nữa, so với hai loại đó, rất khó để nói rằng nó đang cố gắng đạt được một mục tiêu đơn giản.

Ví dụ, trong Học máy thông thường, các tập dữ liệu cần học – thường được gọi là Dữ liệu lớn (Big Data / ビッグデータ) – được chuẩn bị sẵn, trong khi ở Học tăng cường, Tác tử (Agent / エージェント) đóng vai trò là chủ thể học tập phải tự thu thập dữ liệu thông qua quá trình Thử và sai (Trial and Error / 試行錯誤). Mặc dù không thể phủ nhận rằng sự khác biệt này chính là nguyên nhân gây ra sự khó khăn của Học tăng cường, nhưng những lợi ích to lớn mà Học tăng cường mang lại vẫn vượt xa điều đó. Đặc biệt, vì Học tăng cường học cách làm thế nào để đạt được mục tiêu do người dùng chỉ định, nên nó có thể áp dụng cho các bài toán mà bạn biết rõ mình muốn làm gì nhưng không biết phải làm như thế nào. Hoặc, ngay cả khi bạn nắm được cách làm đại khái nhưng muốn tìm ra một phương pháp tốt hơn, thì quá trình thử và sai của tác tử trong Học tăng cường sẽ phát huy tính hiệu quả.

Nhu cầu này rất dễ hiểu nếu lấy AI trong trò chơi (Game AI / ゲームAI) làm ví dụ. Tôi nghĩ nhiều người đã từng thấy tin tức về AlphaGo đánh bại một kỳ thủ cờ vây chuyên nghiệp hàng đầu thế giới vào năm 2015. Đây cũng là một Game AI dành cho cờ vây được phát triển dựa trên nền tảng Học tăng cường. Vào thời điểm đó, Học tăng cường chủ yếu xử lý các vấn đề có tính giới hạn, trong đó nội dung của việc ra quyết định được xây dựng từ một tập hợp các lựa chọn hữu hạn như trong Game AI. Do đó, ngay cả khi người dùng muốn áp dụng nó vào lĩnh vực của riêng họ, họ thường phải thiết lập lại bài toán để phù hợp với khuôn khổ của phía Học tăng cường. Tuy nhiên, với những bước phát triển sau này, ví dụ như trong điều khiển chuyển động của robot, khuôn khổ của Học tăng cường có khả năng xử lý các giá trị liên tục (Continuous Values / 連続値) như tốc độ di chuyển và mô-men xoắn khớp (Joint Torque / 関節トルク) đã trở nên hoàn thiện, và nó được kỳ vọng sẽ có những ứng dụng thực tế trong nhiều lĩnh vực rộng lớn hơn bao giờ hết.

Từ bối cảnh đó, cuốn sách này giới thiệu về các công nghệ Học tăng cường hướng tới ứng dụng thực tế, nhắm mục tiêu chủ yếu đến các nhà nghiên cứu (bao gồm cả sinh viên sau đại học) và các kỹ sư doanh nghiệp muốn áp dụng Học tăng cường vào các bài toán trong thế giới thực. Chúng tôi cố gắng giải thích bằng cách chú trọng vào sự hiểu biết về khái niệm (Concept / 概念) mà không đi quá sâu vào các giải thích mang tính toán học (Mathematical / 数理的). Hơn nữa, vì chúng tôi cũng đã tóm tắt một cách thích hợp các kỹ thuật và nhận thức bài toán vốn được coi là điều kiện tiên quyết trong các bài báo về Học tăng cường gần đây nhưng ít khi được giải thích cặn kẽ, cuốn sách này cũng sẽ hữu ích như một nền tảng để đọc các bài báo nghiên cứu mới nhất. Như vậy, cuốn sách này được cấu trúc dành cho những người dùng Học tăng cường đã hoàn thành phần nhập môn – tức là những người không hài lòng với các sách nhập môn chỉ tóm tắt cách sử dụng các thư viện Học tăng cường (Reinforcement Learning Libraries / 強化学習ライブラリ) hiện có, nhưng cũng chưa ở giai đoạn đi sâu vào cơ sở toán học chi tiết để hiểu sâu sắc lý do tại sao Học tăng cường lại hoạt động tốt. Do đó, mặc dù nội dung cơ bản của Học tăng cường cũng được đưa vào cuốn sách này, nhưng chúng tôi cố gắng giữ nó ở mức tương đối ngắn gọn. Ngoài ra, mặc dù tôi nghĩ rằng bạn hoàn toàn có thể phát triển các thuật toán Học tăng cường (Reinforcement Learning Algorithms / 強化学習アルゴリズム) mới bằng cách tham khảo cuốn sách này, nhưng khi đó sẽ tốt hơn nếu bạn tự củng cố thêm về mặt lý thuyết từ các sách khác và các bài báo mới nhất khi cần thiết.

Với các đối tượng độc giả nêu trên, trước tiên trong Chương 1, cuốn sách này sẽ chia sẻ hệ tư tưởng chung bằng cách giới thiệu về mặt ngôn ngữ những mục đích và khó khăn trong Học tăng cường, tạm thời bỏ qua phần toán học. Sau đó, chúng tôi sẽ giới thiệu chi tiết về mặt toán học của lý thuyết Học tăng cường và các công nghệ mới nhất cần thiết để hiện thực hóa nó. Cụ thể:

• Trong Chương 2, chúng tôi sẽ định dạng lại việc thiết lập bài toán Học tăng cường về mặt toán học và giới thiệu một số công cụ (Tools / 道具) cần thiết cho cuốn sách này.

• Chương 3 tóm tắt thuật toán học (Learning Algorithm / 学習アルゴリズム) cơ bản nhất của Học tăng cường và các kỹ thuật xuất hiện thường xuyên trong Học tăng cường sâu (Deep Reinforcement Learning / 深層強化学習) – vốn là xu hướng chủ đạo trong những năm gần đây.

• Chương 4 giới thiệu các công nghệ mới nhất trong số các phương pháp Học tăng cường có thể xử lý các giá trị thực dưới dạng hành động, hướng tới các ứng dụng Học tăng cường trong thế giới thực, cùng với các khái niệm và kỹ thuật quan trọng.

• Chương 5 tóm tắt về Học tăng cường dựa trên mô hình (Model-based Reinforcement Learning / モデルベース強化学習) – một phương pháp luận mạnh mẽ để tác tử học tập hiệu quả trong thế giới thực, đồng thời phân loại nền tảng và phương pháp ứng dụng của nó.

• Chương 6 giới thiệu ngắn gọn các biện pháp đối phó khác nhau liên quan đến thiết kế phần thưởng (Reward / 報酬) – có lẽ là nguồn gốc của những rắc rối lớn nhất khi sử dụng Học tăng cường trong thế giới thực.

• Cuối cùng, trong Chương 7, tác giả cung cấp một số chủ đề liên quan đến Học tăng cường mà tôi đặc biệt kỳ vọng trong tương lai.

Cuối cùng, nhân cơ hội này, tôi xin gửi lời cảm ơn sâu sắc nhất tới tất cả những người đã giúp đỡ tôi trong quá trình viết cuốn sách này. Đặc biệt, vì cuốn sách này do một tác giả duy nhất viết, nên việc quản lý thời gian thường có xu hướng bị chểnh mảng, nhưng nhờ sự dẫn dắt tận tình của họ, tác phẩm này đã được thành hình. Hơn nữa, động lực để tôi đảm nhận việc viết cuốn sách này là do tôi được chọn cho dự án JST PRESTO “AI đáng tin cậy” (Trusted AI / 信頼されるAI), điều này cho phép tôi thúc đẩy quá trình nghiên cứu về Học tăng cường. Một số kiến thức và kết quả nghiên cứu thu được thông qua PRESTO cũng đã được tôi đưa vào cuốn sách này.

Học tăng cường là một lý thuyết Học máy đã phát triển với tốc độ ngày càng gia tăng cùng với sự xuất hiện của Học sâu (Deep Learning / 深層学習). Tôi hy vọng cuốn sách này sẽ giúp ích phần nào trong việc hiểu về lý thuyết đó cũng như những điểm cần lưu ý khi áp dụng nó vào thế giới thực.