Robot có thể “học” được không?

Con người (Human / 人間) chúng ta trải qua vấp ngã để biết đau, phạm sai lầm dẫn đến xấu hổ để từ đó đào sâu sự Học hỏi (Learning / 学び). Không phải ngay từ đầu chúng ta đã biết Câu trả lời đúng (Correct answer / 正解). Trái lại, thông qua quá trình Thử nghiệm và sai sót (Trial and error / 試行錯誤), chúng ta dần trở nên thông minh hơn. Chính vì có quá trình đó, Kinh nghiệm (Experience / 経験) mới biến thành Trí tuệ (Wisdom / 知恵), và nuôi dưỡng Sự tự tin (Confidence / 自信).

Vậy, liệu Robot có sở hữu “năng lực học hỏi từ kinh nghiệm” như thế hay không?

Câu trả lời nằm ở lĩnh vực mang tên “Học tăng cường (Reinforcement Learning: RL / 強化学習)“. Đây là cơ chế mà Trí tuệ nhân tạo (AI / 人工知能) sẽ đánh giá hành động của chính mình thông qua sự Tương tác (Interaction / 相互作用) với Môi trường (Environment / 環境), từ đó củng cố những Trải nghiệm thành công (Success experience / 成功体験) để trang bị cho mình Chính sách hành động tối ưu (Optimal policy / 最適な行動方針). Hình bóng của một Robot như thể “chồng chất thất bại để trưởng thành” đang thực sự được Triển khai (Implementation / 実装) trong thực tế.

Trong chương này, chúng ta hãy cùng xem xét Phương pháp (Method / 手法) mang tên Học tăng cường đang mang lại sức mạnh Tự trưởng thành (Self-growth / 自己成長) cho Robot như thế nào, làm cách nào để nâng cao Năng lực thích ứng (Adaptability / 適応力) trong Thế giới thực (Real world / 現実世界), cũng như việc ứng dụng của nó đang được mở rộng từ Không gian trò chơi (Game space / ゲーム空間) sang các hiện trường Công nghiệp (Industry / 産業) ra sao.

AI học hỏi thông qua thử nghiệm và sai sót

Ý tưởng cơ bản (Basic concept / 基本的な考え方) của Học tăng cường vô cùng đơn giản. Khi thực hiện một hành động nào đó và được nhận “Phần thưởng (Reward / 報酬)“, nó sẽ phán đoán rằng hành động đó là “tốt”, và trong tương lai sẽ có xu hướng dễ dàng chọn lại hành động đó trong tình huống tương tự. Ngược lại, nếu phần thưởng ít hoặc bị dính Hình phạt (Penalty / ペナルティ), nó sẽ coi hành động đó là “không tốt” và có xu hướng né tránh.

Ví dụ, giả sử Robot đang di chuyển trong một Mê cung (Maze / 迷路) để tìm lối ra. Ban đầu nó chỉ có thể tiến lên một cách Ngẫu nhiên (Randomly / 無作為に), nhưng trong quá trình Thử nghiệm (Trial / トライ) nhiều lần, những bài học như “rẽ phải sẽ đi đường vòng”, “đi đường này sẽ đến đích ngay” sẽ dần được Tích lũy (Accumulation / 蓄積). Cuối cùng, hành động chọn Tuyến đường ngắn nhất (Shortest route / 最短ルート) sẽ được “Tăng cường (Reinforcement / 強化)“, giúp nó có thể di chuyển một cách tối ưu không lãng phí.

Như vậy, trong Học tăng cường, 4 yếu tố là Môi trường, Trạng thái, Hành động, và Phần thưởng sẽ được xử lý như một Tập hợp (Set / セット).

● Môi trường (Environment / 環境): Thế giới mà Robot di chuyển xung quanh (căn phòng, nhà kho, Không gian trò chơi, v.v.). ● Trạng thái (State / 状態): Tình huống tại thời điểm đó (vị trí, góc độ, Tình huống xung quanh (Surrounding situation / 周囲の状況), v.v.). ● Hành động (Action / 行動): Các lựa chọn mà Robot có thể thực hiện (tiến lên, xoay, chờ đợi, v.v.). ● Phần thưởng (Reward / 報酬): Giá trị đánh giá (Evaluation value / 評価値) thu được như kết quả của hành động (Ví dụ: tiến gần đến mục tiêu thì được +1, va chạm thì bị -1).

Thông qua 4 yếu tố này, Robot sẽ tự học được “hành động nào là tốt nhất”. Đây đích thực là một AI “trở nên thông minh nhờ Kinh nghiệm“.

Công nghệ nâng cao năng lực thích ứng trong thế giới thực

Sức hấp dẫn lớn nhất của Học tăng cường nằm ở điểm nó có thể nuôi dưỡng “Năng lực thích ứng (Adaptability / 適応力)“, giúp đối phó linh hoạt ngay cả với những Tình huống chưa biết (Unknown situation / 未知の状況). Không phải là được Lập trình (Programming / プログラム) sẵn mọi thứ từ đầu, mà là đặt mình vào Môi trường để lặp đi lặp lại quá trình Thử và sai (Trial & Error / トライ＆エラー), từ đó khám phá ra hành động tối ưu.

Cách tiếp cận (Approach / アプローチ) này cực kỳ tương thích với các vấn đề phức tạp trong Thế giới thực. Đó là bởi vì Môi trường thực tế (Real environment / 現実の環境) luôn thay đổi và không thể Dự đoán (Prediction / 予測) một cách hoàn toàn.

Ví dụ, ngay cả khi Robot hút bụi gia đình (Home cleaning robot / 家庭用掃除ロボット) dọn dẹp phòng khách, vị trí của ghế sofa có thể thay đổi tùy từng ngày, những vật dụng rơi trên sàn cũng khác nhau, hoặc trẻ em và thú cưng có thể bất ngờ chạy ngang qua. Để ứng phó với những thay đổi này, những Động tác (Movement / 動作) được định sẵn từ trước sẽ có những giới hạn. Thông qua Học tăng cường, bằng cách tích lũy những Kinh nghiệm như “chuyển động này dễ đi qua”, “thời điểm này rất nguy hiểm”, Robot sẽ có thể di chuyển một cách tự nhiên và Hiệu quả (Efficient / 効率的) hơn.

Hơn nữa, gần đây những Công nghệ phái sinh (Derivative technology / 派生技術) như Học bắt chước (Imitation Learning / 模倣学習) hay Học tăng cường ngược (Inverse Reinforcement Learning / 逆強化学習) cũng đang thu hút sự chú ý. Đây là cách tiếp cận nhằm học hỏi xem “đang hướng tới mục tiêu gì” bằng cách quan sát hành động của con người, và được tận dụng như một phương tiện để học tập Hiệu quả hơn với số lần Thử nghiệm ít hơn.

Ngoài ra, do việc học trong Thế giới thực cũng đi kèm với những thách thức về Chi phí (Cost / コスト) và Tính an toàn (Safety / 安全性), nên phương pháp học trong Môi trường mô phỏng (Simulation environment / シミュレーション環境) rồi chuyển giao ra thực tế gọi là “Sim2Real (Từ mô phỏng ra thực tế / シムトゥリアル)” cũng đang trở nên phổ biến. Bằng cách lặp lại thất bại hàng nghìn lần trong Không gian ảo (Virtual space / 仮想空間) để tìm ra Mẫu hành vi tối ưu (Optimal behavior pattern / 最適な行動パターン), sau đó ứng dụng nó vào Robot trong thực tế, chúng ta có thể giúp nó trưởng thành một cách an toàn và Hiệu quả.

Từ trò chơi đến dây chuyền nhà máy: Ứng dụng mở rộng trên hiện trường

Học tăng cường vốn dĩ đã đạt được những thành tựu trong các “Môi trường khép kín (Closed environment / 閉じた環境)” có quy tắc và Thiết kế phần thưởng (Reward design / 報酬設計) rõ ràng như cờ vua, cờ shogi, hay Trò chơi điện tử (Video game / ビデオゲーム). Đặc biệt, với sự thành công của AlphaGo, nhận thức rằng “AI có thể học Chiến lược (Strategy / 戦略) giỏi hơn cả con người” đã lan rộng trên toàn thế giới.

Tuy nhiên trong những năm gần đây, những thành quả đó đã bắt đầu được ứng dụng vào các hiện trường thực tế, đặc biệt là hiện trường nhà máy và Logistics (物流).

Ví dụ, có những trường hợp Cánh tay Robot (Robot arm / ロボットアーム) được bố trí trên Dây chuyền lắp ráp (Assembly line / 組み立てライン) sẽ tự học cách lắp ráp các Bộ phận (Parts / パーツ). Ban đầu nó sẽ thất bại, nhưng bằng cách chỉ trao Phần thưởng khi lắp đúng vị trí chính xác, nó sẽ dần học được “nên gắp ở góc độ nào”, “tốc độ nào là ổn định nhất”, v.v. Nhờ đó, một Cánh tay Robot có Tính linh hoạt cao (High flexibility / 柔軟性の高い) sẽ được hoàn thiện, đóng góp vào việc Tối ưu hóa hiệu suất dây chuyền (Line efficiency / ラインの効率化) và Cắt giảm chi phí (Cost reduction / コスト削減).

Trong ngành Logistics, những chiếc AGV (Xe tự hành chở hàng / Automated Guided Vehicle / 無人搬送車) chạy trong nhà kho đang vận dụng Học tăng cường để học những thứ như “Tuyến đường hiệu quả nhất (Most efficient route / 最も効率的な経路)“, “khung giờ không tắc nghẽn”, “Tốc độ tối ưu khi chạy (Optimal running speed / 走行時の最適速度)“, từ đó di chuyển một cách Tự chủ (Autonomous / 自律的) tùy theo tình huống. Những Tuyến đường mà trước đây con người phải cài đặt Thủ công (Manual / 手動), thì nay đang được AI Tối ưu hóa tự động (Automatic optimization / 自動的に最適化).

Ngoài ra, phạm vi ứng dụng của Học tăng cường đang ngày càng mở rộng, chẳng hạn như Kiểm tra tự động (Automatic inspection / 自動点検) bằng Drone hay học Mẫu rải tối ưu (Optimal spraying pattern / 最適な散布パターン) của Robot nông nghiệp (Agricultural robot / 農業用ロボット). Hơn thế nữa, đó không chỉ đơn thuần là những “động tác thông minh”, mà đang tiến gần đến những “Hành động có trí tuệ (Intelligent behavior / 知性ある行動)“, nơi chúng tự hiểu rõ các vấn đề tại hiện trường và tiến hành Cải thiện (Improvement / 改善).

Khi Robot trở thành “Thực thể biết trưởng thành”

Những Robot từ trước đến nay vốn được định vị là “công cụ hoạt động theo những gì được Lập trình“. Tuy nhiên, với sự xuất hiện của Học tăng cường, nhận thức chung đó đang có nguy cơ bị thay đổi từ căn bản. Robot học hỏi thông qua những thất bại, thay đổi hành động từ Kinh nghiệm, và thích ứng với Môi trường ―― chúng đang dần trở thành những “Thực thể biết trưởng thành (Growing entity / 成長する存在)” giống hệt như con người.

Nhờ sự Tiến hóa (Evolution / 進化) này, Robot sẽ ngày càng có thể hoạt động tích cực trong những Môi trường đa dạng (Diverse environment / 多様な環境). Ngay cả ở những hiện trường Không thể dự đoán (Unpredictable / 予測不能), chúng cũng có thể tự suy nghĩ và hành động. Dù có thất bại, chúng vẫn có thể lấy đó làm lương thực để tiến bước tiếp theo. Tương lai nơi những “Robot biết học hỏi (Learning robot / 学習するロボット)” như thế sẽ hỗ trợ cuộc sống và nền công nghiệp của chúng ta đang đến rất gần.

Tuy nhiên, dù có thông minh đến đâu, nếu không có cái “Cơ thể (Body / 体)” đó, Robot không thể làm việc trong Thế giới thực. Ở chương tiếp theo, chúng ta sẽ đào sâu xem trí thông minh của AI và Phần cứng (Hardware / ハードウェア) của Robot đang Dung hợp (Fusion / 融合) với nhau như thế nào. Hãy cùng tiến sát đến tuyến đầu của lĩnh vực Thiết kế Robot (Robot design / ロボット設計) trong tương lai, nơi mà Cảm biến, Động cơ (Motor / モーター) và Chip AI (AI chip / AIチップ) hoạt động như một thể thống nhất.