Ở đây, $ϵ\ge 0$ là một siêu tham số (Hyperparameter/ ハイパーパラメータ) cho biết mức độ cho phép tỉ lệ mật độ (Density ratio/ 密度比) sai lệch khỏi 1. Ngoài ra, clip(x,l,u) là một hàm cắt xén (Clipping function/ クリップする関数) sao cho $x\in [l,u]$, và nó tương đương với max(min(x,u),l). Cần lưu ý rằng nếu bị cắt xén vượt quá giới hạn trên hoặc dưới, đạo hàm (Gradient/ 勾配) liên quan đến π (và θ) sẽ trở thành 0. Hàm mất mát (Loss function/ 損失関数) này so sánh hàm mất mát ban đầu với hàm đã bị cắt xén khi ρ sai lệch khỏi 1 một mức độ nhất định, và áp dụng giá trị nhỏ hơn, nhưng xét về mặt trực giác thì ý đồ đó khá khó hiểu. Do đó, hãy thử phân chia các trường hợp dựa trên dấu âm dương của hàm lợi thế (Advantage function/ アドバンテージ関数) A đang đóng vai trò như một hệ số. Đầu tiên, trong trường hợp $A>0$, hàm mất mát sẽ như sau:

Tức là, nếu ρ lớn hơn một mức nhất định, nói cách khác là nếu π đang tự tin khẳng định hành động a hơn một mức nhất định so với πold, nó sẽ bị cắt xén và đạo hàm sẽ biến mất. Việc $A>0$ thể hiện trường hợp hệ thống phán đoán rằng một hành động a có giá trị cao hơn đã được thực hiện, nhưng nó có thể được coi là một cơ chế giúp tránh tình trạng π bị củng cố quá mức và chỉ ưu tiên duy nhất hành động a. Ngược lại, trong trường hợp π mơ hồ hơn so với πold, nó có tác dụng củng cố để π có thể tạo ra a bất kể hai giá trị này có chênh lệch nhau bao nhiêu. Mặt khác, trong trường hợp $A<0$, hàm mất mát cũng được tính toán tương tự như sau:

Trái ngược với lúc trước, nếu ρ nhỏ hơn một mức nhất định và π nhìn nhận hành động a một cách mơ hồ hơn mức nhất định so với πold, nó sẽ bị cắt xén và đạo hàm sẽ biến mất. Tức là, khi $A<0$ và hệ thống phán đoán rằng một hành động a có giá trị thấp đã bị thực hiện, nó sẽ không ép π phải tự kiểm điểm quá mức mà sẽ loại trừ nó đi như một kinh nghiệm không liên quan nếu nó ở dưới mức ngưỡng. Thay vào đó, nếu π có độ rủi ro cao hơn so với πold và tự tin vào hành động sai lầm đó, nó sẽ sửa đổi để π không tạo ra a nữa bất kể hai bên có chênh lệch bao nhiêu.

Kết hợp hai sự phân chia trường hợp lại với nhau, về mặt định tính, chúng ta có thể kỳ vọng hệ thống sẽ được cập nhật sao cho tiệm cận với vùng lân cận của πold trong khi vẫn triệt tiêu sự cập nhật quá mức của π. Do đó, PPO – vốn có thể coi là một cách triển khai mang tính Heuristic này – dự kiến sẽ thể hiện một cách thức hoạt động tương tự như trường hợp thêm sự phân kỳ Kullback-Leibler ban đầu vào thành phần chính quy hóa (Regularization term/ 正則化項). Ngoài ra, hệ số β của thành phần chính quy hóa cũng kiêm luôn vai trò điều chỉnh quy mô (scale) với hàm mất mát ban đầu nên việc điều chỉnh nó phụ thuộc rất lớn vào tác vụ, trong khi đó ϵ quyết định ngưỡng cắt xén lại chỉ cần xem xét xem tỉ lệ mật độ có thể dao động bao nhiêu là đủ, và không quá phụ thuộc vào tác vụ. Thực tế, theo như tài liệu gốc thì $ϵ\in [0.1,0.3]$ được cho là con số lý tưởng cho phần lớn các tác vụ, nên có thể nói việc xử lý nó rất dễ dàng. Như vậy, không chỉ bản thân việc triển khai vô cùng đơn giản khi chỉ cần bàn xem có nên cắt xén hay không, mà các siêu tham số của nó cũng không mất nhiều công sức tinh chỉnh (Tuning), vì vậy phiên bản PPO cắt xén phổ biến này có thể nói là một thuật toán cực kỳ tiện dụng.

Đoạn mã giả (Pseudocode) của PPO này được trình bày trong Algorithm 1. Ở đây, $N\in \mathbb{N},K\in \mathbb{N},\gamma \in [0,1),\lambda \in [0,1],ϵ\in [0,1]$ là các siêu tham số chính, và trên thực tế sẽ phải chỉ định thêm kích thước lô (Batch size/ バッチサイズ) hay tốc độ học tập trong quá trình tính toán mất mát. Về phương pháp ước lượng A, mặc dù nằm ngoài phạm vi của PPO, nhưng trong tài liệu gốc GAE (hoặc lợi nhuận gộp) [21] đã được áp dụng, và phương pháp học tập của hàm giá trị (Value function/ 価値関数) V được dùng cho ước lượng đó mang tính tùy ý, nhưng việc sử dụng sai số bình phương của GAE (tức là phương pháp TD(λ)) sẽ đơn giản hơn. Tức là, do $A\simeq \delta$ được ước lượng bằng GAE vốn dĩ được cung cấp bằng sai số giữa V và giá trị mục tiêu, nên $A+V$ sẽ trở thành giá trị mục tiêu, và ta chỉ cần giảm thiểu sai số bình phương giữa giá trị này và V là được. Tuy nhiên, khi tính toán $A+V$, bắt buộc phải ngắt đồ thị tính toán (Computational graph), do đó trong mã giả, V~ và những đối tượng đã bị ngắt đồ thị tính toán được phân biệt một cách rõ ràng.

Mã giả của Algorithm 1 PPO [19]
1: Khởi tạo $\pi, V$
2: Lặp lại (repeat)
3: $\pi_{old} \leftarrow \pi$
4: Khởi tạo tập dữ liệu: $\mathcal{D} \leftarrow \emptyset$
5: cho (for) $n = 1, 2, \dots, N$ thực hiện (do) $\triangleright$ Thu thập kinh nghiệm cho $N$ quỹ đạo
6: Tạo $\mathcal{E}_n^{\pi} = \{(s_t, a_t, r_t, s’_t)\}_{t=1}^T$ từ môi trường và $\pi_{old}$
7: Ước lượng và ghi lại cùng nhau $\mathcal{E}_n^{A} = \{A_t = \sum_{k=0}^T (\gamma \lambda)^k \delta(s_{t+k}, r_{t+k}, s’_{t+k})\}_{t=1}^T$
8: $\delta(s, r, s’) = r + \gamma V(s’) – V(s)$
9: $\mathcal{D} \leftarrow \mathcal{D} \cup \{\mathcal{E}_n^{\pi}, \mathcal{E}_n^{A}\}$
10: kết thúc vòng lặp (end for)
11: cho (for) $k = 1, 2, \dots, K$ thực hiện (do) $\triangleright$ Học bằng PPO cho $K$ kỷ nguyên (Epoch)
12: $\pi \leftarrow \arg\min_\pi \mathbb{E}_{(s_i, a_i, b_i, A_i) \sim \mathcal{D}} [l^{PPO}(s_i, a_i, b_i, A_i)]$
13: $l^{PPO}(s, a, b, A) = \min \{ \frac{\pi(a|s)}{b} A, \text{clip}(\frac{\pi(a|s)}{b}, 1-\epsilon, 1+\epsilon)A \}$
14: $V \leftarrow \arg\min_V \mathbb{E}_{(s_i, A_i) \sim \mathcal{D}} [l^{TD(\lambda)}(s_i, A_i)]$
15: $l^{TD(\lambda)}(s, A) = \frac{1}{2} \{ (A + \tilde{V}(s)) – V(s) \}^2$
16: kết thúc vòng lặp (end for)
17: cho đến khi (until) quá trình học hội tụ đủ

Ở đây, dấu ± tương ứng với dấu của A. Điều này thành lập khi $\rho >1+ϵ$ nếu $A>0$, và $\rho <1-ϵ$ nếu $A<0$. Nhìn vào kết quả, ở PPO khi bị cắt xén, thành phần chính quy hóa không âm được định nghĩa ở công thức trên sẽ hoạt động, và quy mô (scale) của nó được điều chỉnh bởi ∣A∣. Theo cách này, dù ở phiên bản cắt xén đã thêm vào một thành phần chính quy hóa khác hoàn toàn với sự phân kỳ Kullback-Leibler ban đầu, nhưng so với việc chính quy hóa trực tiếp, nó được tác động dưới hình thức phản ánh quy mô của hàm mất mát gốc, và thông qua đây ta cũng thấy được sự phụ thuộc vào tác vụ là thấp. Hơn nữa, đúng như dự đoán, nếu tối ưu hóa ρ với mục đích giảm thiểu thành phần chính quy hóa này thì chỉ cần $\rho \in [1-ϵ,1+ϵ]$ là đủ. Nói cách khác, ở phiên bản PPO cắt xén, thực ra không có ràng buộc nào đủ mạnh để ép hội tụ hoàn toàn về $\pi \to {\pi }^{old}$, mà luôn tồn tại một Vùng chết (Dead band/ 不感帯) được định bởi ϵ. Vùng chết này tương ứng với việc có thể bỏ qua điều kiện ràng buộc nếu độ sai lệch giữa π và πold nhỏ hơn giá trị ngưỡng trong bài toán tối ưu hóa có ràng buộc nguyên thủy từng xuất hiện ở TRPO. Tuy nhiên trên thực tế, thành phần chính quy hóa này lại hoạt động như để triệt tiêu hàm mất mát ban đầu, khiến đạo hàm trở về 0, do đó có những chỉ trích rằng phiên bản PPO cắt xén không thể thực hiện được $\pi \to {\pi }^{old}$ (thậm chí là giữ nó trong vùng chết), dẫn đến việc các phiên bản cải tiến của PPO đưa vào cơ chế chính quy hóa được cho là tốt hơn đã được đề xuất [6, 23]. Mặc dù vậy, việc chính quy hóa quá mạnh về πold sẽ làm cản trở quá trình học, rốt cuộc tốt nhất người dùng nên điều chỉnh một cách thích hợp tùy theo việc ưu tiên sự ổn định hay tính hiệu quả của quá trình học tập.

4-2-3 Ràng buộc liên tục Lipschitz cục bộ: L2C2 (Locally Lipschitz Continuous Constraint)

Cũng có thể giới hạn sự cập nhật chính sách từ một góc độ khác với TRPO hay PPO. Một ví dụ trong đó là chúng ta sẽ tập trung vào sự trơn tru của chính sách (và hàm giá trị) tại đây. Tức là, nếu hàm số được xấp xỉ bằng mạng nơ-ron (Neural Network/ ニューラルネットワーク) bị học quá khớp (Overfitting), đạo hàm của nó dễ bị đẩy lên một giá trị cực đoan, làm mất đi sự ổn định của quá trình học tập, do đó ta nhắm đến một quá trình học ổn định bằng cách thêm vào cơ chế chính quy hóa nhằm duy trì độ trơn tru của hàm số. Thế nhưng, nếu làm mượt hàm số quá mức thì sẽ làm hỏng đi hiệu suất xấp xỉ vốn dĩ cần thiết, do đó việc xử lý sự đánh đổi (Trade-off) đó sẽ trở thành điểm mấu chốt. Trong phần này, tôi muốn giới thiệu ngắn gọn về phương pháp Locally Lipschitz Continuous Constraint (L2C2) [24] của tác giả, đây là một phương pháp chính quy hóa để đạt được chính sách và hàm giá trị mượt mà ở mức độ vừa phải.

Đầu tiên, L2C2 tập trung vào tính liên tục Lipschitz cục bộ (Locally Lipschitz Continuous/ 局所リプシッツ連続) của hàm số. Tính liên tục Lipschitz có thể nói là một thước đo về độ trơn tru của hàm số giống như tính khả vi, và hàm số $f:X\to Y$ sở hữu đặc tính này sẽ thỏa mãn điều kiện dưới đây.

$$ \frac{d_Y(f(x_1), f(x_2))}{d_X(x_1, x_2)} \le K \quad (\forall x_1, x_2 \in X) \quad (4.16) $$

Ở đây, dX,Y là hàm khoảng cách thích hợp trong mỗi không gian, $K\ge 0$ là cận trên, còn được gọi là hằng số Lipschitz. Xét về mặt trực giác, với một hàm số có K nhỏ, sự thay đổi của đầu ra so với sự thay đổi của đầu vào sẽ trở nên nhỏ hơn, và tất yếu hàm số sẽ trở nên mượt mà hơn. Ngược lại, với hàm có K lớn, hoặc hàm số không có tính liên tục Lipschitz, sẽ tồn tại những điểm mà đầu ra thay đổi đột ngột đối với một thay đổi cực nhỏ của đầu vào. Đối với các hàm số được xấp xỉ bằng mạng nơ-ron, năng lực biểu diễn cao của chúng đôi khi lại phản tác dụng, về cơ bản bản thân tính liên tục Lipschitz có thể được thỏa mãn, nhưng do có xu hướng K sẽ trở nên lớn, vì vậy để làm cho nó mượt mà hơn, cần phải có chủ ý hạn chế để làm cho K nhỏ lại [25]. Ngoài ra, tính liên tục Lipschitz cục bộ chỉ ra rằng tại không gian cục bộ $U^i\subset X$ xung quanh một $x^i\in X$ nào đó sẽ thỏa mãn tính liên tục Lipschitz với Ki, và nó mang đặc điểm là mỗi không gian cục bộ i sẽ có một hằng số Lipschitz khác nhau. Như đã trình bày, ta muốn làm cho K nhỏ đi để làm trơn hàm số, nhưng tất nhiên nếu $K\to 0$ thì $f(x)\simeq \text{const.}$ và hiệu năng xấp xỉ sẽ bị mất đi. Do đó, nếu ta có thể chia ra thành các không gian cục bộ cần một Ki lớn để xấp xỉ, và các không gian cục bộ dễ xấp xỉ có thể làm Ki nhỏ nhất có thể, thì ta có thể vừa tránh được việc làm suy giảm hiệu năng xấp xỉ do giới hạn đồng đều toàn bộ hàm số, vừa dễ dàng đạt được độ mượt mà cần thiết.

Trong L2C2, về mặt lý tưởng, ta xem xét bài toán tối ưu hóa có ràng buộc liên quan đến tính liên tục Lipschitz cục bộ dưới đây đối với tham số θ của chính sách π và hàm giá trị V (có thể là Q) khi được cung cấp một kinh nghiệm (s,a,s′,r).

Trong đó, dπ và dV là hàm khoảng cách thích hợp đối với chính sách và hàm giá trị, dUs là hàm khoảng cách trong không gian trạng thái (State space/ 状態空間) cục bộ $U^s\subset S$ lấy s làm trung tâm. KUs,π và KUs,V là hằng số Lipschitz mục tiêu tại Us tương ứng cho chính sách và hàm giá trị, và có ý định ràng buộc vế trái, vốn tương đương với hằng số Lipschitz thực tế tại Us, vào mục tiêu ở vế phải.

Thực tế mà nói, dù định nghĩa tính cục bộ như thế nào thì không gian cục bộ Us chắc chắn sẽ tồn tại vô hạn, và việc chỉ định hằng số Lipschitz mục tiêu cho từng cái là bất khả thi. Hơn nữa, trên lý thuyết, việc tìm kiếm hằng số Lipschitz thực tế cũng được biết đến là một bài toán NP-khó (NP-hard) [26], và mặc dù có thể tìm thấy cận trên một cách xấp xỉ bằng phương pháp học đối kháng, nhưng nó lại không phù hợp cho việc triển khai với chi phí thấp. Do đó, khi chuyển đổi ràng buộc cứng (Hard constraint) của công thức (4.17) sang ràng buộc mềm (Soft constraint) dưới dạng thành phần chính quy hóa, L2C2 đã lên kế hoạch đơn giản hóa một cách táo bạo và định nghĩa công thức sau.

Ở đây, ${\lambda }^{\pi },{\lambda }^V\ge 0$ là Hệ số khuếch đại (Gain/ ゲイン) hằng số chung cho toàn bộ không gian cục bộ quyết định độ mượt mà của hàm số. Nói cách khác, ở L2C2, trong khi thay thế cận trên bằng kỳ vọng (Expectation/ 期待値), nó từ bỏ việc thiết lập mục tiêu cho từng không gian cục bộ và hằng số hóa biến đối ngẫu (Dual variable) Lagrange thành một siêu tham số. Kết quả là, việc nâng cao tính liên tục Lipschitz cục bộ được nới lỏng từ nghĩa vụ thành mục tiêu nỗ lực, giúp dễ dàng có được hiệu suất xấp xỉ hơn. Đồng thời, việc λπ,λV là hằng số sẽ phản hồi lại Lπ và LV đóng vai trò là hàm mục tiêu; tại những Us mà mục tiêu chính dễ dàng đạt được, ràng buộc làm trơn hàm số có xu hướng chiếm ưu thế, còn tại những Us mà việc học tập cho mục tiêu chính gặp khó khăn và đạo hàm của nó dễ dàng trở nên lớn, thì có thể kỳ vọng vào hiệu suất xấp xỉ hơn là độ mượt mà của hàm số.

Cuối cùng, chúng ta sẽ thiết kế không gian cục bộ Us. Phần chi tiết xin nhường lại cho tài liệu gốc và sẽ được lược bỏ tại đây, nhưng như được hiển thị trong Hình 4-1, chúng ta chú ý vào quá trình chuyển đổi trạng thái $s\to s^{\prime }$ trong kinh nghiệm, và xác định Us với s là trung tâm và s′ được chỉ định tại một điểm ở rìa không gian. Nghĩa là, về mặt trực giác có thể nói rằng đã áp dụng một giả định ngầm rằng trạng thái trong quá trình chuyển đổi phải là cùng một chính sách và hàm giá trị. Việc chính quy hóa cho chính sách như thế này rất hữu ích, bởi vì khi vận hành hệ thống thực tế nó sẽ không thay đổi hành động đối với mức độ nhiễu quan sát, từ đó ngăn ngừa những phiền toái như quá tải hay giảm hiệu suất năng lượng do dao động hành động bị kéo theo bởi nhiễu quan sát mang lại. Trên thực tế, tài liệu [27] đã giới thiệu một phương pháp tương tự để triệt tiêu sự thay đổi đầu ra của Drone.

Hình 4-1 Không gian trạng thái cục bộ trong L2C2: Bằng cách thiết kế dựa trên thông tin chuyển đổi trạng thái, nó có vai trò triệt tiêu sự thay đổi đầu ra trong quá trình chuyển đổi trạng thái.

4-3 Tính toán trực tiếp phương pháp Đạo hàm chính sách (Policy Gradient)

Việc tối ưu hóa hàm chính sách lấy bài toán cực đại hóa hàm giá trị (Value function/ 価値関数) trạng thái V làm điểm xuất phát. Ở phương pháp đạo hàm chính sách, đạo hàm của V liên quan đến π (và tham số ϕ của nó) được tính toán một cách giải tích, nhưng do tại thời điểm giải tích này có sử dụng tính phụ thuộc vào chính sách của V, nên không có cách nào khác ngoài việc phân loại nó vào dạng On-policy. Mặt khác, trong Q-Learning nhắm tới không gian hành động rời rạc, hành động tối ưu được định nghĩa một cách cụ thể hơn là tối đa hóa hàm giá trị hành động Q. Đây là một phần của lý do vì sao trong không gian hành động rời rạc, tức là các lựa chọn hành động có thể lấy được là hữu hạn nên có thể so sánh và chọn lọc đơn giản bằng argmax. Trong không gian hành động liên tục, các lựa chọn trở nên vô hạn và argmax hoàn toàn không thể tính toán một cách chặt chẽ được, từ đó có thể nói rằng một sự tối ưu hóa có phần vòng vèo như phương pháp đạo hàm chính sách đã được nghĩ ra.

Vậy, kể cả khi argmax là không thể, lẽ nào không thể đơn giản là cải thiện hành động theo hướng tối đa hóa Q, và tiếp đó là cải thiện chính sách đã sinh ra hành động đó hay sao? Ở đây, nếu vận dụng thủ thuật tái tham số hóa (Reparameterization Trick/ 再パラメータ化トリック) của công thức (4.5), ta có thể cập nhật tham số ϕ của chính sách một cách trực tiếp hơn thông qua quy tắc cập nhật được hiển thị dưới đây.

Giá trị $Q$ ở đây không nhất thiết phải tuân theo chính sách $\pi$, và ở đây được giả định là tuân theo một chính sách $b$ khác (hoặc $\pi$ của quá khứ). Đó là bởi vì nó chỉ dừng lại ở việc tối ưu hóa hành động $a$ tốt nhất tương ứng với trạng thái $s$ được đưa ra, lấy $Q$ tuân theo một chính sách thích hợp (lý tưởng nhất là chính sách tối ưu) làm thước đo. Hơn nữa, cần lưu ý rằng để áp dụng phương pháp này, tiền đề lớn là $Q$ phải được xấp xỉ dưới dạng có thể vi phân. Do các triển khai trong những năm gần đây hầu như đều dùng mạng nơ-ron để xấp xỉ hàm, tiền đề này có lẽ không khó lắm, tuy nhiên trong trường hợp hướng tới các bài toán mà có thể suy đoán trước rằng $Q$ sẽ thay đổi một cách rời rạc, thì xử lý bằng cách xấp xỉ dưới dạng có thể vi phân chẳng hạn, và tiếp tục đi sâu giải thích về hàm giá trị trạng thái $V^{\pi ,b}$ tiếp tục hành động bằng một chính sách $b$ khác sau đó, thì đạo hàm dễ bị phân kỳ ngay cả khi có chính sách $\pi$ được cập nhật chỉ đối với trạng thái $s$ được cung cấp.

Dù sao đi nữa, có thể thấy rằng một quy tắc cập nhật khác với phương pháp đạo hàm chính sách trước đây đã được xác định. Ví dụ, mặc dù tôi đã nhấn mạnh việc Q không cần thiết phải tuân theo chính sách π hiện tại, nhưng điều đó có nghĩa là quy tắc cập nhật này có thể được xem là dạng Off-policy. Chính vì vậy, bằng cách sử dụng kết hợp với phát lại kinh nghiệm (Experience Replay/ 経験再生), việc gia tốc quá trình học tập trở nên dễ dàng, do đó trong những năm gần đây, có xu hướng các phương pháp dựa trên quy tắc cập nhật này được sử dụng rộng rãi. Ngoài ra, so với phương pháp đạo hàm chính sách truyền thống xét đạo hàm đối với toàn bộ chính sách, phương pháp này trực tiếp tìm ra đạo hàm cho từng hành động, từ đó phản ánh được hành động nào đóng góp bao nhiêu vào việc gia tăng hàm giá trị. Sự khác biệt này sẽ trở nên rõ rệt khi không gian hành động trở thành chiều không gian cao, nếu sự đóng góp của từng hành động vẫn còn mơ hồ như trước đây thì không khó để tưởng tượng quá trình học sẽ trở nên chậm chạp, nhưng với phương pháp này, hiệu suất học tập có thể được duy trì ở một mức độ nào đó. Ngoài ra, người ta cũng biết rằng bằng cách sử dụng đạo hàm của Q, phương sai (Variance) của chính đạo hàm sẽ trở nên nhỏ đi [28]. Nhân tiện, do đây cũng là một loại phương pháp đạo hàm chính sách, nên phương pháp trước đây được gọi là Phương pháp Đạo hàm tỉ số hợp lý (Likelihood Ratio Gradient), còn phương pháp này là Phương pháp Đạo hàm tái tham số hóa (Reparameterization Gradient) để phân biệt, đồng thời một sự thấu hiểu thống nhất cũng đang được thúc đẩy [29].

4-3-1 Đạo hàm chính sách tất định (Deterministic Policy Gradient: DPG)

Như một ví dụ cụ thể, trong quyển sách này đầu tiên sẽ giới thiệu về Deterministic Policy Gradient (DPG) [30]. Có thể bạn đã từng nghe tới phiên bản Học tăng cường sâu (Deep Reinforcement Learning/ 深層強化学習) được gọi là Deep DPG (DDPG) [31], nhưng về bản chất cả hai đều tương đương nhau. Ở DPG, không phải là dẫn xuất ra thuật toán bằng cách áp dụng thủ thuật tái tham số hóa như trên, mà là ngay từ đầu ấn định chính sách là một chính sách tất định, và xem xét bài toán quyết định hành động $a={\mu }^{\varphi }(s)$ bằng cách sử dụng tham số xấp xỉ hàm ϕ đó. Nếu làm như vậy, sự rắc rối bắt nguồn từ việc chính sách từng là một phân phối xác suất sẽ bị loại bỏ, và có thể dẫn ra quy tắc cập nhật dưới đây.

Ở đây, D là bộ nhớ đệm trong tái tạo kinh nghiệm. Như có thể thấy qua điều này, nó trở thành một quy tắc cập nhật gần giống với trường hợp sử dụng thủ thuật tái tham số hóa ở trên. Hơn nữa, tuy kết hợp học cả Q nhưng cũng sử dụng phương pháp TD nhằm tận dụng triệt để việc phát lại kinh nghiệm (experience replay / 経験再生).

Một điểm cần lưu ý là trong phương pháp TD liên quan đến $Q$, cần có hành động tiếp theo $a’$ đối với trạng thái tiếp theo $s’$, nhưng thay vì tích lũy trong bộ nhớ đệm phát lại (Replay Buffer/ リプレイバッファ), nó được tính toán mỗi lần là $a’ = \mu_{\bar{\phi}}(s’)$, bằng cách này $Q$ được cho là đạt cực đại tại thời điểm đó có thể được đặt ở phía tín hiệu giáo viên (Teacher Signal/ 教師信号), và có thể kỳ vọng vào một quá trình học tương tự như Học Q (Q-Learning/ $Q$学習).

Bằng cách này trong (D)DPG, cả hàm giá trị hành động (Action Value Function/ 行動価値関数) và chính sách (Policy/ 方策) đều được học từ bộ nhớ đệm $\mathcal{D}$ được tích lũy thông qua phát lại kinh nghiệm (Experience Replay/ 経験再生), nhưng có một vấn đề. Đó là tình thế tiến thoái lưỡng nan giữa khám phá và khai thác kiến thức (Exploration-Exploitation Dilemma/ 探索と知識利用のジレンマ) đã được đề cập ở chương 2, vì chính sách mang tính tất định nên về cơ bản nó chỉ ưu tiên khai thác kiến thức. Đối với vấn đề này, trong (D)DPG, khi thu thập dữ liệu, một nhiễu khám phá (Exploration Noise/ 探索ノイズ) được cộng thêm vào hành động $a = \mu_\phi(s)$ được tính toán từ chính sách. Ban đầu, nhiễu tuân theo Quá trình Ornstein-Uhlenbeck (OU Process/ Ornstein-Uhlenbeck過程) [32] phụ thuộc vào nhiễu trong quá khứ được áp dụng, nhưng cuối cùng người ta cho rằng nhiễu Gauss (Gaussian Noise/ ガウスノイズ) với trung bình bằng 0 là đủ. Vẫn chưa có câu trả lời rõ ràng về loại nhiễu nào thúc đẩy quá trình khám phá, và có cảm giác như nó vẫn chưa được phân tích đầy đủ. Dù sao đi nữa, bằng cách phát lại kinh nghiệm sử dụng bộ nhớ đệm được thu thập thông qua việc thêm nhiễu khám phá, kinh nghiệm sẽ được mở rộng, từ đó dễ dàng tìm ra giải pháp tối ưu (Optimal Solution/ 最適解) hơn.

Ở đây, mặc dù quy tắc cập nhật (Update Rule/ 更新則) chính sách trong (D)DPG ở trên chỉ có thể được dẫn ra chính vì chính sách mang tính tất định, nhưng rốt cuộc việc thêm nhiễu vào hành động, trên thực tế có thể hiểu là đang thực hiện thủ thuật tái tham số hóa (Reparameterization Trick/ 再パラメータ化トリック). Tuy nhiên, trong (D)DPG điểm quan trọng đến bất ngờ là phân phối sinh nhiễu (Noise Generating Distribution/ ノイズの生成分布) hoàn toàn cố định. Tương tự như trong phương pháp đạo hàm chính sách (Policy Gradient/ 方策勾配法) truyền thống, ví dụ như khi tối ưu hóa một chính sách được mô hình hóa bằng phân phối Gauss (Gaussian Distribution/ ガウス分布), người ta biết rằng tham số $\sigma$ tương ứng với quy mô nhiễu (Noise Scale/ ノイズのスケール) trở nên nhỏ lại trong giai đoạn đầu của quá trình học, dẫn đến việc không thể khám phá đầy đủ [33, 34]. Vì vậy, nếu cố định quy mô nhiễu để việc khám phá được tiếp tục, quá trình khám phá có thể duy trì vĩnh viễn, giúp quá trình tương đối ổn định và dễ dàng tìm ra giải pháp tối ưu. Tuy nhiên, xin lưu ý rằng nếu chỉ định sai quy mô của nhiễu khám phá, nếu quá lớn thì sẽ không thể thu được các thao tác cực kỳ chính xác nữa, và nếu quá nhỏ thì đương nhiên việc khám phá sẽ tiến triển rất chậm chạp.

Cuối cùng, mã giả (Pseudocode/ 擬似コード) của DDPG được đưa vào Algorithm 2. Ở đây, $\sigma \in \mathbb{R}_{|A|}, |\mathcal{D}| \in \mathbb{N}, \alpha \in \mathbb{R}_+, \gamma \in [0, 1), \tau \in [0, 1]$ là các siêu tham số (Hyperparameter/ ハイパーパラメータ) chính. Ngoài ra, trên thực tế không phải lúc nào toàn bộ $\mathcal{D}$ cũng được dùng khi cập nhật, mà thường chỉ cập nhật bằng các mẫu (samples) được lấy ra theo kích thước lô (Batch Size/ バッチサイズ) đã chỉ định. Thêm vào đó, cần chú ý rằng mạng mục tiêu (Target Network/ ターゲットネットワーク) được giới thiệu ở chương 3 không chỉ được sử dụng cho hàm giá trị mà còn cho cả chính sách. Nhờ điều này, $Q$ một cách rõ ràng đối với chính sách khác với chính sách hiện tại nên được học, và có thể thấy rõ ràng nó trở thành dạng Off-policy (方策オフ型). 

Mã giả của Algorithm 2 DDPG [31]
1: Khởi tạo $\phi^\pi, \phi^Q$
2: Khởi tạo mạng mục tiêu: $\bar{\phi}^\pi \leftarrow \phi^\pi, \bar{\phi}^Q \leftarrow \phi^Q$
3: Khởi tạo tập dữ liệu: $\mathcal{D} \leftarrow \emptyset$
4: lặp lại (repeat)
5: Quan sát trạng thái hiện tại $s$: $s \leftarrow s’$ hoặc $s \sim p_0(s)$
6: Quyết định hành động: $a = \text{clip}(\mu_{\phi^\pi}(s) + \epsilon, \underline{a}, \overline{a}), \epsilon \sim \mathcal{N}(0, \sigma)$
7: Thực thi hành động: $s’ \sim p_e(s’|s, a), r = r(s, a, s’)$
8: $\mathcal{D} \leftarrow \mathcal{D} \cup (s, a, r, s’)$ $\triangleright$ Xóa từ kinh nghiệm cũ nhất khi vượt quá dung lượng
9: nếu (if) đến thời điểm cập nhật thì (then)
10: $\phi^\pi \leftarrow \phi^\pi – \alpha \mathbb{E}_{s \sim \mathcal{D}} [g(s)]$
11: $g(s) = -\nabla_{\phi^\pi} \mu_{\phi^\pi}(s) \nabla_a Q_{\phi^Q}(s, a)|_{a=\mu_{\phi^\pi}(s)}$
12: $\phi^Q \leftarrow \arg\min_{\phi^Q} \mathbb{E}_{(s, a, r, s’) \sim \mathcal{D}} [l^Q(s, a, r, s’)]$
13: $l^Q(s, a, r, s’) = \frac{1}{2} (r + \gamma Q_{\bar{\phi}^Q}(s’, \mu_{\bar{\phi}^\pi}(s’)) – Q_{\phi^Q}(s, a))^2$
14: $\bar{\phi}^\pi \leftarrow (1-\tau)\bar{\phi}^\pi + \tau\phi^\pi, \bar{\phi}^Q \leftarrow (1-\tau)\bar{\phi}^Q + \tau\phi^Q$
15: kết thúc điều kiện (end if)
16: cho đến khi (until) quá trình học hội tụ đủ

4-3-2 Twin Delayed DDPG: TD3

Mặc dù (D)DPG thể hiện hiệu suất tuyệt vời như vậy, nhưng người ta báo cáo rằng nó thường gặp phải sự dễ tổn thương (vulnerability) đối với việc điều chỉnh siêu tham số, một tình trạng thường thấy trong học tăng cường (Reinforcement Learning/ 強化学習) dạng Off-policy. Do đó, để làm cho việc học trở nên ổn định, Twin Delayed DDPG (TD3) [35] được giới thiệu trong phần này đã đưa vào DDPG 3 cải tiến mang tính kinh nghiệm lớn. Mục tiêu chính của các cải tiến là ức chế cả việc đánh giá quá mức (Overestimation) trong quá trình học của hàm giá trị hành động $Q$ và hiện tượng quá khớp (Overfitting/ 過学習) của chính sách đi kèm với nó.

Đầu tiên, tín hiệu giáo viên để học $Q$ nếu là (D)DPG sẽ được cho là $y_{DDPG} = r + \gamma Q(s’, \mu_{\bar{\phi}}(s’))$. Trong TD3, người ta xem xét vấn đề là $y_{DDPG}$ khiến $Q$ được xấp xỉ bằng mạng nơ-ron (Neural Network/ ニューラルネットワーク) dễ bị đánh giá quá mức (ngay cả khi sử dụng mạng mục tiêu để cập nhật từ từ), và bị lôi kéo theo điều đó dẫn đến việc phán đoán sai lệch các trạng thái và hành động là tối ưu. Vấn đề này có phần phụ thuộc vào sai số xấp xỉ (Approximation Error/ 近似誤差) của chính $Q$, và có phần phụ thuộc vào sai số ước lượng của hành động tối ưu ước lượng được đưa vào.

Vì vậy, trong TD3 như một cải tiến đầu tiên, hành động tiếp theo $a’$ nhập vào $Q$ được tạo ra như sau.

Nói cách khác, nhiễu $\epsilon$ từ phân phối chuẩn (Normal Distribution/ 正規分布) với quy mô $\sigma$ được cắt xén ở ngưỡng $c$ để không trở thành giá trị cực đoan, sau đó được thêm vào hành động tối ưu ước lượng. Qua đó $y_{TD3}$ được cung cấp một cách xác suất (Probabilistically/ 確率的に), vì vậy $Q$ được làm trơn (smoothed) tương ứng và có thể ức chế sự quá khớp. Ngoài ra, cần lưu ý rằng $a’$ khác với hành động để thực sự tương tác với môi trường, mà chỉ nhằm mục đích tính toán $y_{TD3}$.

Như một cải tiến khác, TD3 đưa vào $Q$ phương pháp học tập hợp (Ensemble Learning/ アンサンブル学習) đã được giới thiệu ở chương 3. Cụ thể, xem số lượng tập hợp là $K = 2$, chuẩn bị $Q_{1,2}$ được xấp xỉ bằng các tham số khác nhau (không được ghi rõ nhưng có lẽ là nguồn gốc của từ Twin), và cập nhật từng cái bằng cách sử dụng tín hiệu giáo viên chung $y_{TD3}$ dựa trên phương pháp TD. Để tính toán $y_{TD3}$, người ta xem xét thống kê của $Q_{1,2}$, nhưng trong TD3 để trực tiếp ức chế việc đánh giá quá mức $Q$, giá trị nhỏ hơn trong 2 giá trị được chọn. Nghĩa là, sử dụng cả $a’$ thu được trong cải tiến thứ nhất, $y_{TD3}$ được đưa ra như sau.

$Q_{1,2}$ được tối ưu hóa sao cho giảm thiểu sai số bình phương với $y_{TD3}$ thu được.

Cải tiến cuối cùng là để có thể phản ánh trình tự học tập mong muốn là chính sách $\pi$ nên được tối ưu hóa đối với $Q$ đã được học một cách thích hợp. Nói cách khác, rất đơn giản, $\pi$ (và mạng mục tiêu) được cập nhật với tần suất cập nhật ít hơn so với $Q$. Sự trễ (delay) trong cập nhật này là nguồn gốc của từ Delayed, nhưng có thể nói rằng nó đang thực hiện nguyên tắc “nên làm cho tốc độ học (Learning Rate/ 学習率) đối với chính sách nhỏ hơn so với tốc độ học đối với hàm giá trị” – thứ đôi khi được áp dụng như một mẹo thực hành trong phương pháp Actor-Critic đã đề cập ở Chương 3 – dưới hình thức thay đổi/trì hoãn thời điểm cập nhật.

Dù sao thì TD3 với việc đưa vào 3 điều trên đang thể hiện hiệu suất cao hơn so với (D)DPG truyền thống, cho thấy rằng các cải tiến để ổn định việc học tập là rất quan trọng trong học tăng cường sâu (Deep Reinforcement Learning/ 深層強化学習). Thêm vào đó, nó thường được so sánh với SAC [36] được mô tả ở phần sau do có nhiều điểm tương đồng và được đề xuất cùng thời điểm, nhưng vẫn đang được tranh luận về việc phương pháp nào tốt hơn về mặt tổng quát, vì vậy nếu có hứng thú bạn hãy tự mình dùng thử cả 2 và so sánh sẽ rất thú vị. Thực tế, trong mỗi bài báo gốc [35, 36] cũng có tiến hành kiểm chứng so sánh, nhưng do sự khác biệt trong việc triển khai (Implementation) và tinh chỉnh, đôi khi kết quả của mỗi bên lại trái ngược nhau, dẫn đến tình huống tự khẳng định tính ưu việt của phương pháp mình.

4-4 Tối đa hóa Entropy chính sách

TRPO hay PPO v.v… ngoài việc cực đại hóa lợi nhuận là bài toán tối ưu hóa của học tăng cường thông thường, còn thêm vào các điều kiện ràng buộc hoặc thành phần chính quy hóa (Regularization Term/ 正則化項) nhằm giới hạn sự cập nhật chính sách. Các trường hợp thêm mục tiêu phụ trợ như vậy vào mục tiêu ban đầu để tăng hiệu suất và sự ổn định học tập được thấy rất nhiều trong lĩnh vực học máy (Machine Learning/ 機械学習), và học tăng cường cũng không ngoại lệ. Vậy, ngoài việc hạn chế cập nhật chính sách, mục tiêu phụ trợ nào phù hợp trong học tăng cường? Một mục tiêu kinh điển là tối đa hóa Entropy chính sách (Policy Entropy/ 方策エントロピー).

Entropy liên quan đến phân phối xác suất (Probability Distribution/ 確率分布) $p(x)$ được định nghĩa bằng công thức sau.

Nó có định nghĩa tương tự như Phân kỳ Kullback-Leibler (Kullback-Leibler Divergence), nhưng cũng phải thôi, cái đó còn được gọi là Entropy tương đối (Relative Entropy), và tương đương với sai số giữa Entropy này và Entropy chéo (Cross Entropy). Vậy, Entropy này biểu thị điều gì, đó chính là độ bất định của phân phối xác suất. Phân phối xác suất càng mang tính tất định thì Entropy càng nhỏ, và càng mơ hồ thì càng lớn. Tức là, việc nhắm đến tối đa hóa Entropy chính sách một cách phụ trợ mang ý đồ giới hạn chính sách sao cho nó không trở nên quá tất định, qua đó tiếp tục duy trì việc khám phá ở phạm vi rộng. Như đã nói ở trước, trong phương pháp đạo hàm chính sách, chính sách sẽ sớm không còn coi trọng việc khám phá nữa, nhưng bằng cách thêm việc tối đa hóa Entropy chính sách làm một mục tiêu mới, ảnh hưởng xấu đó sẽ được giảm nhẹ. Thực tế, trong việc triển khai PPO, Entropy chính sách được thêm vào dưới dạng thành phần chính quy hóa dù chỉ là Ad-hoc.

Ở đây, $c \ge 0$ là siêu tham số quyết định cường độ chính quy hóa (Regularization Strength/ 正則化の強度). Tính hợp lệ về mặt lý thuyết của việc thêm phần này vào không được bàn luận sâu trong nguyên tác của PPO, nhưng tính hiệu quả của nó đã được xác nhận rộng rãi.

4-4-1 Soft Q-learning: SQL

Trong quyển sách này, chúng tôi sẽ giới thiệu Soft Q-learning (SQL) [37] và Soft Actor Critic (SAC) [36], những trường hợp đã tích hợp cực đại hóa Entropy chính sách này vào thuật toán học tăng cường một cách mang tính lý thuyết hơn. Đặc biệt SAC có thể nói là một gương mặt tiêu biểu trong các thuật toán học tăng cường dựa trên đạo hàm chính sách trong những năm gần đây, và do sự đơn giản trong triển khai nên tôi rất muốn các bạn hiểu và sử dụng nó.

Lời đầu tiên, xin giới thiệu về SQL, tiền thân của SAC. Trong SQL (và SAC), Entropy chính sách được xem xét dưới hình thức cộng thêm vào phần thưởng.

Ở đây, $\alpha \ge 0$ là tham số nhiệt độ (Temperature Parameter/ 温度パラメータ), và xin lưu ý rằng nó khác với tốc độ học. Dù chỉ là một trọng số nhưng việc cất công gọi $\alpha$ là nhiệt độ là vì $\alpha$ càng lớn thì Entropy của chính sách, hay nói cách khác là sự hỗn loạn càng lớn, tạo ra một sự tương đồng (analogy) với trường hợp tăng nhiệt độ vật lý trong nhiệt động lực học. Đồng thời, lý do cũng vì $\alpha$ trùng khớp với tham số nhiệt độ $T$ của chính sách Softmax (Softmax Policy/ ソフトマックス方策) (mặc dù lý do $T$ của chính sách Softmax được gọi là tham số nhiệt độ vốn dĩ cũng xuất phát từ sự liên kết với nhiệt động lực học).

Lúc này, nếu mục tiêu của học tăng cường cũng giống như từ trước đến nay là tối đa hóa hàm giá trị trạng thái $V$ (vốn là giá trị kỳ vọng (Expected Value/ 期待値) của lợi nhuận), thì nếu xem xét một cách rõ ràng phần thưởng ở trên, nó sẽ được định nghĩa lại như sau.

Ở đây, lý do $- \alpha \ln \pi(a_t | s_t)$ không nằm trong $Q$ có thể giải thích là vì $Q(s, a)$ là lợi nhuận kỳ vọng khi hành động $a$ đã được xác định tại trạng thái $s$, nên thành phần Entropy biểu thị sự bất định trước khi $a$ được xác định cần được loại trừ. Trên thực tế, cũng có thể nói đó là định nghĩa dựa trên sự tiện lợi để dẫn xuất chính sách tối ưu thành $\exp((Q-V)/\alpha)$, nhưng tôi xin nhường phần giải thích đó lại cho nguyên tác.

Dù sao đi nữa, do thành phần Entropy bị tràn ra khỏi $Q$ này, phương pháp TD của $Q$ sẽ thay đổi. Trước đó, trong khi gọi lại $V$ và $Q$ là hàm giá trị Soft (trạng thái hoặc hành động), tổng hợp định nghĩa và mối quan hệ của chúng sẽ như sau.

Hơn nữa, Phương trình Soft Bellman (Soft Bellman Equation/ ソフトベルマン方程式) sử dụng triệt để cấu trúc đệ quy của $Q$ được tìm ra như sau.

Giá trị kỳ vọng (Expected Value/ 期待値) còn lại cuối cùng sẽ được xấp xỉ bằng phương pháp Monte Carlo (Monte Carlo Method/ モンテカルロ法) thông qua những kinh nghiệm thu được từ việc tương tác thực tế với môi trường.

Do đó, sai số TD (TD Error/ TD誤差) liên quan đến hàm giá trị hành động (Action Value Function/ 行動価値関数) $Q$ khi bao gồm cả việc tối đa hóa Entropy (Entropy/ エントロピー) chính sách và hàm mất mát (Loss Function/ 損失関数) cần được giảm thiểu sẽ như sau.

Ở đây, xin lưu ý rằng giống như phương pháp TD thông thường, chỉ có $Q(s, a)$ được cập nhật, và các thành phần khác nằm trong $\delta$ đóng vai trò như một tín hiệu giáo viên (Teacher Signal/ 教師信号) giả. Từ định nghĩa này, ta có thể hiểu rằng hàm giá trị hành động ở thời điểm tiếp theo đang bị đánh giá thấp đi đúng bằng lượng độ hợp lý logarit (Log-likelihood/ 対数尤度) của chính sách tại thời điểm tiếp theo đó, hoặc độ hợp lý logarit đó đang được thêm vào phần thưởng như một hình phạt (Penalty/ ペナルティ). Dù giải thích theo cách nào thì chính sách càng mang tính tất định, giá trị sẽ càng giảm, do đó tác nhân (Agent) sẽ cố gắng duy trì Entropy của chính sách ở mức cao nhất có thể.

4-4-2 Soft Actor-Critic: SAC

Về phương pháp học của $Q$ cho đến lúc này, mặc dù có sự khác biệt về mặt kỹ thuật triển khai giữa SQL và SAC, nhưng về cơ bản chúng là tương đương. Mặt khác, liên quan đến việc tối ưu hóa (Optimization/ 最適化) chính sách $\pi$, dù chính sách tối ưu hướng tới là giống nhau như dưới đây, nhưng mỗi bên lại áp dụng một phương pháp tiếp cận tối ưu hóa hoàn toàn khác biệt.

Ở đây, $Z$ là một hằng số chuẩn hóa (Normalization Constant/ 規格化定数) để $\pi^*$ thỏa mãn định nghĩa của phân phối xác suất (Probability Distribution/ 確率分布) (tổng hoặc tích phân bằng 1). Không cần quá bận tâm về nó, công thức này đơn giản chỉ ra rằng hành động nào có giá trị hành động cao hơn sẽ được ưu tiên hơn; ví dụ trong không gian hành động rời rạc (Discrete Action Space/ 離散行動空間), nó trở thành chính sách Softmax (Softmax Policy/ ソフトマックス方策) và ta có thể thấy $\alpha$ tương ứng với tham số nhiệt độ (Temperature Parameter/ 温度パラメータ). Trong không gian hành động liên tục (Continuous Action Space/ 連続行動空間), vì không thể tìm $Z$ một cách rõ ràng (explicitly), nên ở SQL, hành động được tạo ra một cách khá “bạo lực” bằng phương pháp Amortized SVGD [38] từ một dạng phân phối xác suất được gọi là Mô hình dựa trên năng lượng (Energy-based Model) – vốn là mô hình đã loại bỏ $Z$.

Mặt khác, trong SAC, $\pi$ được mô hình hóa bằng một phân phối xác suất thích hợp có chứa tham số $\theta$ (trong bản gốc là biến thể của phân phối Gauss bị giới hạn trong một khoảng hữu hạn), và bằng cách giảm thiểu Phân kỳ Kullback-Leibler (Kullback-Leibler Divergence/ Kullback-Leibler ダイバージェンス) giữa $\pi$ và $\pi^*$, nó sẽ đưa $\pi$ tiệm cận tới chính sách tối ưu.

Nếu khai triển phân kỳ Kullback-Leibler này ra, ta sẽ được công thức dưới đây.

Ở đây, do giá trị kỳ vọng của $Z(s)$ không phụ thuộc vào $\pi$, nên ta có thể loại bỏ nó đi dưới dạng hằng số $C$, và nhân toàn bộ với $\alpha$ để tạo thành dạng quen thuộc mà chúng ta thấy ở đây. Việc lấy $\arg\min$ cho phương trình thu được cuối cùng vẫn không thể tìm ra kết quả bằng tính giải tích (Analytically/ 解析的), vì vậy chúng ta sẽ sử dụng phương pháp đạo hàm (Gradient Method/ 勾配法) để cập nhật $\pi$ (thông qua tham số $\theta$ của nó). Khi đó, SAC sử dụng thủ thuật tái tham số hóa (Reparameterization Trick/ 再パラメータ化トリック), và quy tắc cập nhật cuối cùng của $\theta$ sẽ như sau.

Trong đó, $\alpha_\pi$ là tốc độ học. Ngoài việc cố gắng giảm thiểu $Q$ âm, thuật toán còn cố gắng giảm thiểu độ hợp lý logarit của chính sách ở thời điểm hiện tại, do đó tương tự như quy tắc cập nhật của $Q$, nó sẽ hướng tới việc duy trì Entropy của chính sách ở mức cao nhất có thể.

Ngoài ra, bài toán cực tiểu hóa mà SAC xử lý ở công thức (4.36) ban đầu có mục đích giảm thiểu Phân kỳ Kullback-Leibler với chính sách tối ưu $\pi^*$, nhưng khi so sánh thành phần cuối cùng với công thức (4.31), ta thấy nó hoàn toàn trùng khớp với việc cực tiểu hóa $-V$. Nói cách khác, có thể hiểu rằng SAC cũng giống như (D)DPG hay TD3, vừa xem xét việc tối đa hóa Entropy chính sách, vừa nỗ lực hoàn thành việc cực đại hóa hàm giá trị trạng thái thông qua các đạo hàm trực tiếp hơn. Thực tế, tuy có sự khác biệt ở việc nhiễu khám phá của chính sách có được cập nhật qua phương pháp đạo hàm hay không, nhưng nếu đặt hệ số chính quy hóa (Regularization Coefficient/ 正則化係数) $\alpha$ của Entropy chính sách về 0, ta sẽ thấy rằng chúng trở thành những quy tắc cập nhật tương đương nhau, ngoại trừ sự khác biệt trong triển khai mã nguồn.

Trong SAC, $\alpha$ – yếu tố quyết định mức độ xem xét việc cực đại hóa Entropy chính sách – đóng góp rất lớn vào hiệu suất, nhưng việc tinh chỉnh thủ công (Hand-tuning/ ハンドチューニング) giá trị này tốn rất nhiều công sức. Hơn nữa, không có lý do gì để luôn giữ $\alpha$ cố định trong suốt quá trình học. Lấy một ví dụ dễ hiểu, việc ưu tiên khám phá ở giai đoạn đầu của quá trình học và ưu tiên khai thác kiến thức ở giai đoạn sau có vẻ là một sự điều chỉnh rất tự nhiên. Vì vậy, trong bài báo cập nhật [39] của nhóm tác giả phát triển SAC, nhằm mục đích tự động điều chỉnh $\alpha$, họ đã diễn giải lại bài toán tối ưu hóa nói trên thành một bài toán tối ưu hóa có ràng buộc (Constrained Optimization Problem/ 制約付き最適化問題) tương ứng.

Ở đây, $\mathcal{H}^*$ được coi là giá trị tối thiểu của Entropy chính sách, và trong bài báo, việc đặt nó bằng $-|\mathcal{A}|$ được cho là ở mức hợp lý. Nếu biến đổi điều này bằng phương pháp nhân tử Lagrange (Lagrange Multiplier Method/ ラグランジュの未定乗数法), điều kiện ràng buộc sẽ được thay thế thành thành phần chính quy hóa, đưa chúng ta trở về với bài toán tối ưu hóa ban đầu, nhưng khi đó hệ số được nhân vào $\alpha \ge 0$ sẽ mang ý nghĩa của một biến đối ngẫu (Dual Variable/ 双対変数) Lagrange. Khi đó, giá trị $\alpha$ tối ưu được định nghĩa như sau.

Trong thực tế, do $\pi^*$ là chưa biết, nên buộc phải dùng $\pi$ để thay thế, dẫn đến việc giảm thiểu hàm mất mát dưới đây.

Tuy nhiên, nếu xem xét cách thức triển khai của SAC, hầu hết đều hơi khác so với hàm mất mát nói trên: thay cho $\alpha \ge 0$, người ta thay thế và tối ưu hóa biến tương ứng trên không gian số thực $\tilde{\alpha} \in \mathbb{R}$, và mỗi khi sử dụng nó như một hệ số, $\alpha$ sẽ được tính toán thông qua một hàm mũ ánh xạ về không gian không âm. Việc này về mặt thực tiễn có thể coi là cách giải quyết vấn đề đạo hàm bị biến mất khi $\alpha \simeq 0$, nhưng về mặt lý thuyết, nó có thể được giải thích là đang ứng dụng phương pháp Mirror Descent (cụ thể hơn là phương pháp giảm dần độ dốc hàm mũ (Exponential Gradient Descent/ 指数勾配降下法) [40]).

Dù sao đi nữa, giờ đây $\alpha$ đã được tối ưu hóa, nhưng thực tế công thức gốc có đôi chút vấn đề nên cần phải cẩn thận. Tạm thời giả sử $\alpha$ được cập nhật theo hàm mất mát này, nếu Entropy chính sách $\mathcal{H}$ lớn hơn $\mathcal{H}^*$ đã thiết lập, hệ thống sẽ cố làm nhỏ $\alpha$ để làm nhỏ $\mathcal{H}$, và nếu $\mathcal{H} < \mathcal{H}^*$, nó sẽ cố làm lớn $\alpha$. Kết quả là $\alpha$ sẽ hội tụ sao cho thỏa mãn $\mathcal{H} \simeq \mathcal{H}^*$, và được điều chỉnh liên tục tùy theo tình trạng học tập của bài toán gốc (Primal Problem/ 主問題). Tức là, nó hoạt động để giữ sự mơ hồ của chính sách ở một mức độ gần như ổn định, và trớ trêu thay, sự thay đổi độ mơ hồ tùy theo tình trạng học tập – vốn là động cơ ban đầu để điều chỉnh $\alpha$ – lại bị mất đi. Lý do của hiện tượng này là do chúng ta đã chuyển đổi bài toán giảm thiểu về công thức (4.41) nhằm xử lý thành phần $\pi^*$ chưa biết trong điều kiện tối ưu của $\alpha$ ở công thức (4.40), và bài toán giảm thiểu này về bản chất lại là công cụ của phương pháp nhân tử Lagrange dùng để xử lý ràng buộc đẳng thức (Equality Constraint/ 等式制約). Hơn nữa, bản thân việc độ hỗn loạn của chính sách trở nên tương đối ổn định không hẳn là điều xấu, nếu ta nhìn nhận rằng điều từng là giá trị cố định ở (D)DPG hay TD3 nay đã mang tính linh hoạt nhất định, và ta có thể kỳ vọng hệ thống sẽ duy trì vĩnh viễn mức độ khám phá được chỉ định bởi $\mathcal{H}^*$.

Cuối cùng, mã giả của SAC bao gồm cơ chế tự động điều chỉnh $\alpha$ được trình bày trong Algorithm 3. Ở đây, $|\mathcal{D}| \in \mathbb{N}, \gamma \in [0, 1), \tau \in [0, 1], \mathcal{H}^* \in \mathbb{R}$ là những siêu tham số chính. Tương tự như DDPG (và TD3), hệ thống thường lấy ra các mẫu với kích thước lô (Batch Size/ バッチサイズ) chỉ định từ $\mathcal{D}$ để sử dụng cho cập nhật, và tốc độ học cho lần cập nhật đó cũng cần được khai báo. Giá trị khởi tạo của $\alpha$ cũng có thể chỉ định, nhưng nhìn chung thường được cấp ở khoảng giá trị 1.

Đồng thời, ở chương 2 tôi đã giới thiệu phương pháp giới hạn không gian hành động trong một khoảng bị chặn (Công thức (2.11)), trong SAC, điều này được tích hợp trực tiếp vào phía chính sách $\pi$, nên khi tính toán độ hợp lý v.v., cần chú ý không được quên cân nhắc đến thành phần chuyển đổi không gian.

Mã giả của Algorithm 3 SAC [36, 39]
1: Khởi tạo $\phi^\pi, \phi^{Q_{i=1,2}}$
2: Khởi tạo $\alpha$
3: Khởi tạo mạng mục tiêu: $\bar{\phi}^{Q_{i=1,2}} \leftarrow \phi^{Q_{i=1,2}}$
4: Khởi tạo tập dữ liệu: $\mathcal{D} \leftarrow \emptyset$
5: lặp lại (repeat)
6: Quan sát trạng thái hiện tại $s$: $s \leftarrow s’$ hoặc $s \sim p_0(s)$
7: Quyết định hành động: $a \sim \pi_{\phi^\pi}(a | s)$
8: Thực thi hành động: $s’ \sim p_e(s’|s, a), r = r(s, a, s’)$
9: $\mathcal{D} \leftarrow \mathcal{D} \cup (s, a, r, s’)$ $\triangleright$ Xóa kinh nghiệm cũ khi vượt quá dung lượng (Capacity Exceeded/ 容量超過時)
10: nếu (if) đến thời điểm cập nhật thì (then)
11: $\phi^\pi \leftarrow \arg\min_{\phi^\pi} \mathbb{E}_{s \sim \mathcal{D}, a_{\phi^\pi} \sim \pi_{\phi^\pi}(a|s)} [ l^\pi(s, a_{\phi^\pi}) ]$
12: $l^\pi(s, a_{\phi^\pi}) = – \{ \min_i Q_{\phi^{Q_i}}(s, a_{\phi^\pi}) – \alpha \ln \pi_{\phi^\pi}(a_{\phi^\pi} | s) \}$
13: $\phi^{Q_i} \leftarrow \arg\min_{\phi^{Q_i}} \mathbb{E}_{(s, a, r, s’) \sim \mathcal{D}, a’ \sim \pi_{\phi^\pi}(a|s’)} [ l^{Q_i}(s, a, r, s’, a’) ]$
14: $l^{Q_i}(s, a, r, s’, a’) = \frac{1}{2} (y(r, s’, a’) – Q_{\phi^{Q_i}}(s, a))^2$
15: $y(r, s’, a’) = r + \gamma \min_i Q_{\bar{\phi}^{Q_i}}(s’, a’) – \alpha \ln \pi_{\phi^\pi}(a’ | s’)$
16: $\alpha \leftarrow \arg\min_\alpha \mathbb{E}_{s \sim \mathcal{D}, a \sim \pi_{\phi^\pi}(a|s)} [ -\alpha \{ \ln \pi_{\phi^\pi}(a | s) + \mathcal{H}^* \} ]$
17: $\bar{\phi}^{Q_i} \leftarrow (1-\tau)\bar{\phi}^{Q_i} + \tau\phi^{Q_i}$
18: kết thúc điều kiện (end if)
19: cho đến khi (until) quá trình học hội tụ (Convergence/ 収束) đủ

Một trong những lý do tích hợp phép biến đổi vào phía $\pi$ là để đảm bảo đầu vào hành động $a$ đưa cho hàm giá trị $Q$ nằm gọn trong khoảng giới hạn định sẵn (-1, 1), giúp ổn định quá trình học. Hơn nữa, như đã đề cập một chút ở chương 3, SAC cũng ứng dụng kỹ thuật học tập hợp (Ensemble Learning/ アンサンブル学習) cho $Q$ ($K=2$). Tức là, đối với $Q(s’, a’)$ dùng để tính sai số TD ở công thức (4.33), hay $Q(s, a)$ làm thước đo cho việc cải thiện chính sách ở công thức (4.36), tương tự như TD3 [35] (dù khác ở chỗ TD3 bắt buộc dùng $Q_1$ để cải thiện chính sách), SAC sẽ sử dụng giá trị nhỏ hơn $\min_{k=1,2} Q_k$ trong số 2 loại $Q_{1,2}$ để ngăn chặn tình trạng đánh giá quá mức.

4-4-3 Ví dụ Cải tiến của SAC

Như đã trình bày, việc tự động điều chỉnh tham số nhiệt độ $\alpha$ thông qua việc cực tiểu hóa ở công thức (4.41) trong SAC sẽ mang xu hướng cố định Entropy chính sách $\mathcal{H}$ ngay tại cận dưới được chỉ định là $\mathcal{H}^*$. Đặc tính hoạt động này bản thân nó cũng đã được nhiều người biết đến, có lẽ vì vậy mà $\mathcal{H}^*$ đôi khi còn được gọi là Entropy mục tiêu. Dù kinh nghiệm cho thấy giữ nguyên như vậy cũng đủ để đạt được độ ngẫu nhiên ổn định của chính sách phục vụ tốt cho việc học, nhưng đã mất công làm thì ta nên cố gắng tối đa hóa $\mathcal{H}$ theo đúng dự định ban đầu. Làm như vậy, tác nhân sẽ có thể tích lũy được những kinh nghiệm đa dạng hơn trong quá trình học tập, giúp nó ứng phó mạnh mẽ trước các vấn đề không thể tránh khỏi khi vận hành hệ thống ở thế giới thực như thay đổi trạng thái đột ngột hay nhiễu tín hiệu. Thực tế, đã có những nghiên cứu báo cáo rằng việc tối đa hóa Entropy chính sách sẽ trực tiếp nâng cao tính mạnh mẽ (Robustness) của mô hình [41, 42]. Dựa vào đó, trong phần này tôi xin giới thiệu một cách vắn tắt phương pháp do chính tôi đề xuất [43], nhằm cải tiến kỹ thuật tự động điều chỉnh nhiệt độ của SAC.

Nguyên nhân việc cực tiểu hóa công thức (4.41) lại làm cho $\mathcal{H} \simeq \mathcal{H}^*$ như đã nói ở trên, là vì thao tác đó tương đương với phương pháp nhân tử Lagrange xử lý điều kiện ràng buộc đẳng thức. Sự tình trở nên như vậy do ta đã tự ý biến đổi ràng buộc bất đẳng thức vốn có trong dự tính ban đầu thành ràng buộc đẳng thức để giải quyết. Nếu muốn xử lý ràng buộc bất đẳng thức một cách chuẩn xác, thì chẳng hạn như ta có thể biến đổi chuẩn xác nó về ràng buộc đẳng thức rồi tiến hành các bước tương tự. Phép biến đổi này có thể thực hiện được bằng cách đưa vào một biến bù (Slack Variable/ スラック変数) $\Delta$.

Cụ thể, nếu có thể đưa vào một biến bù $\Delta$ phụ thuộc trạng thái, thì về mặt lý tưởng, ràng buộc bất đẳng thức có thể được chuyển đổi thành ràng buộc đẳng thức.

Tóm lại, phần chênh lệch tạo ra bởi ràng buộc bất đẳng thức sẽ được lấp đầy bởi $\Delta$. Xem xét cả yếu tố này, ta định nghĩa lại hàm mất mát liên quan đến $\alpha$ như sau.

Trái với trước đây khi $\alpha$ tự động điều chỉnh về $\mathcal{H} \simeq \mathcal{H}^*$, ở trường hợp này do nó được điều chỉnh về $\mathcal{H} \simeq \mathcal{H}^* + \Delta$, nên Entropy chính sách có thể lớn hơn cận dưới được ấn định đúng một lượng là $\Delta$.

Tuy nhiên, điều gây trở ngại ở đây là vấn đề tối ưu hóa $\Delta$. Nếu suy nghĩ một cách đơn giản, ta chỉ cần đặt ra bài toán tối ưu hóa thu hẹp sai số hai vế về 0 sao cho điều kiện ràng buộc đẳng thức ở công thức (4.42) được thỏa mãn là xong, nhưng nếu làm vậy, $\alpha$ sẽ hết khả năng điều chỉnh linh hoạt do luôn phải lo đáp ứng điều kiện đó. Đồng thời, nếu để $\Delta$ tăng lên vô tội vạ, hệ thống sẽ thất bại trong việc cực đại hóa lợi nhuận ban đầu. Vì vậy, tuy phần giải thích chi tiết tôi xin nhường lại cho nguyên tác [43], nhưng thông qua việc giảm thiểu hàm mất mát có tính chất Heuristic như dưới đây, hệ thống sẽ tối ưu hóa $\Delta$ linh hoạt ứng với trạng thái.

Ở đây, $e = | \ln \pi(a | s) + \mathcal{H}^* + \Delta(s) |$ đại diện cho sai số của điều kiện đẳng thức, và $\epsilon$ là ngưỡng giá trị để chuyển đổi giữa 2 mục đích cực tiểu hóa. Trên thực tế, $\Delta$ cũng được biểu diễn bằng một bộ xấp xỉ hàm (Function Approximator/ 関数近似器) (ví dụ như Mạng nơ-ron) với $s$ làm giá trị đầu vào, và hệ thống sẽ cập nhật các tham số của nó. Thêm một thông tin bên lề, tuy cận dưới của $\Delta$ được gán bằng 0, nhưng thông thường sẽ không có cận trên cho giá trị này. Tuy nhiên, đối với SAC, nếu cân nhắc việc nó đang áp dụng phép chuyển đổi để $\pi$ tạo ra hành động bị chặn $a \in [-1, 1]$, ta sẽ nhận ra rằng bản thân cận trên của $\mathcal{H}$ cũng được đưa ra ở mức $|A| \ln 2$ (khi $\pi$ là phân phối đều (Uniform Distribution/ 一様分布)). Theo đó, nếu người dùng biết rằng cận trên của $\Delta$ cũng sẽ tuân theo và trở thành $|A| \ln 2 – \mathcal{H}^*$, thì sẽ có thêm định hướng trong việc điều chỉnh giá trị đầu ra hay thiết lập mốc cho $\mathcal{H}^*$.

Như đã trình bày ở trên, bằng việc liên tục tự học $\Delta$ và khéo léo chuyển đổi các ràng buộc bất đẳng thức đối với $\mathcal{H}$ của SAC thành ràng buộc đẳng thức, $\alpha$ cũng sẽ được điều chỉnh tự động đồng bộ theo đó, giúp hệ thống đạt được một chính sách có tính ngẫu nhiên (hỗn loạn) cao hơn, thỏa mãn $\mathcal{H} \ge \mathcal{H}^*$. Ở phiên bản SAC có khả năng tối đa hóa Entropy chính sách đúng như dự định này, người ta đã ghi nhận sự cải thiện rõ rệt về tốc độ học. Dĩ nhiên, cũng cần lưu ý rằng một chính sách quá ngẫu nhiên sẽ làm giảm sút đi hiệu suất cuối cùng trong những bài toán đòi hỏi hành động cực kỳ chuẩn xác, nhưng dù vậy thì lợi thế từ việc có được một chính sách được tối ưu hóa qua các kinh nghiệm đa dạng, đưa ra các hành động an toàn và hoạt động mạnh mẽ trước nhiễu ngoài (External Disturbance/ 外乱) là vô cùng quan trọng trong ứng dụng thực tế. Về lý thuyết, bằng cách tăng $\epsilon$ lên, ta sẽ có $\Delta \rightarrow 0$ đưa về trùng khớp với SAC ban đầu, vì vậy người dùng có thể điều chỉnh $\epsilon$ một cách hợp lý để tương thích với bản chất của từng bài toán.