Một Hệ thống nhân tạo (Artificial system / 人工的なシステム) có khả năng đối thoại trí tuệ với con người đã từng là một giấc mơ xa vời trong suốt thời gian dài. Giờ đây, hệ thống thực hiện các cuộc đối thoại như vậy đã trở thành hiện thực nhờ công nghệ tiên tiến nhất mang tên Mô hình ngôn ngữ lớn (Large Language Model – LLM / 大規模言語モデル). Trong Bài giảng thứ 2 này, chúng ta sẽ cùng tìm hiểu về quá trình tiến bộ của công nghệ Xử lý ngôn ngữ (Language processing / 言語処理) làm nền tảng cho chúng, đồng thời giải thích về những điểm cần lưu ý từ góc nhìn của Người dùng (User / ユーザー). Lý do tôi chọn giải thích về xử lý ngôn ngữ đầu tiên là bởi tôi tin rằng, việc thấu hiểu công nghệ này sẽ mang lại lợi ích to lớn cho nguồn nhân lực tại các doanh nghiệp sử dụng, bắt đầu từ Ngành sản xuất (Manufacturing industry / 製造業).

2-1 Phác họa Bản đồ toàn cảnh về Xử lý ngôn ngữ

Trong Bài giảng 2 này, chúng ta sẽ phác họa một bản đồ toàn cảnh về lĩnh vực xử lý ngôn ngữ. Hình 2-1 là bản tóm tắt các hạng mục nhằm giúp hiểu rõ tiến trình phát triển của công nghệ liên quan đến mô hình ngôn ngữ lớn, cũng như các điểm cần lưu tâm ở cấp độ người dùng. Chúng ta sẽ cùng giải thích xem Đơn vị (Unit / 単位) và Cơ chế (Mechanism / 仕組み) của xử lý ngôn ngữ đã thay đổi như thế nào, cũng như Phương pháp học (Learning method / 学習の方法) đã chuyển biến ra sao. Hơn nữa, những thay đổi trong Ứng dụng (Application / 応用) và các lưu ý khi sử dụng sẽ được giải thích theo hướng dành cho người tại các doanh nghiệp, chứ không phải dành cho giới chuyên gia.

Thuật ngữ AI tạo sinh (Generative AI / 生成AI) ra đời như một cách gọi chung khi ChatGPT xuất hiện dưới tư cách là một AI tạo văn bản, đúng vào thời điểm mà AI tạo hình ảnh bắt đầu trở nên dễ tiếp cận với đại chúng. Mặc dù trên các phương tiện truyền thông, thuật ngữ AI tạo sinh được sử dụng rộng rãi, nhưng trong lĩnh vực xử lý ngôn ngữ, nó được gọi là Mô hình ngôn ngữ lớn. Một số tài liệu tham khảo hữu ích có thể kể đến như: “AI 2041: Tương lai 20 năm sau khi Trí tuệ nhân tạo thay đổi” [1], “Mô hình ngôn ngữ lớn có phải là trí tuệ mới? Thế giới đã bị thay đổi bởi ChatGPT” [2], “Thế giới sẽ thay đổi thế này nhờ AI tạo sinh” [3].

Có lẽ không ít người, sau khi dùng thử AI tạo sinh, đã cảm thấy thất vọng vì không nhận được những câu trả lời hoàn hảo như tưởng tượng. Theo tôi, đó là do sự kỳ vọng đã bị đặt quá cao. Rốt cuộc thì đây cũng chỉ là một công cụ hỗ trợ, do đó việc con người xác nhận lại nội dung và chỉnh sửa là điều bắt buộc.

Nhiều người dường như đang hình dung nó như một hệ thống cấp cao hơn của Công cụ tìm kiếm (Search engine / 検索エンジン), nhưng quan điểm của tôi là, bản chất của nó là một Giao diện đối thoại (Conversational interface / 対話型インターフェース). Tôi cho rằng nó phù hợp để tra cứu kiến thức chuyên sâu về các lĩnh vực cụ thể (Domain / 確立した分野) hơn là để tán gẫu về các chủ đề thường nhật.

Xét đến những giá trị thu được, tôi tin rằng việc sử dụng nó là hoàn toàn xứng đáng. Mặc dù cần có sự khéo léo trong việc xây dựng Câu lệnh (Prompt / プロンプト), nhưng chỉ cần sử dụng một chút là bạn sẽ quen, vì vậy điều cốt yếu là đừng ngần ngại mà hãy thử nghiệm ngay. Bài giảng 2 này sẽ giới thiệu các phương pháp ứng dụng hướng đến ngành sản xuất.

———–

Hình 2-1 

● Bản đồ toàn cảnh lĩnh vực xử lý ngôn ngữ (Tác giả tự thiết kế) 

Mô hình ngôn ngữ lớn: Thấu hiểu tiến bộ công nghệ】

 [1] Cái gì: Từ “Câu làm đơn vị” chuyển sang “Đoạn văn/Văn bản làm đơn vị” 

[2] Khả năng: Từ “Dịch máy” tiến tới “Hiểu ngôn ngữ” 

[3] Phương pháp học: Học tự giám sát (Self-supervised learning): Bài toán điền vào chỗ trống và học thuộc lòng 

[4] Tuân thủ chỉ thị: Học tăng cường (Reinforcement learning)

【Lưu ý ở cấp độ người dùng】

 (1) Kiến thức: Có giới hạn về những gì nó biết

Trong các lĩnh vực có mức độ kiến thức phổ cập cao, nó có thể dùng được ngay 

(2) Đối thoại: Nó rất hiểu các chỉ thị của người dùng, và nắm được cả lịch sử cuộc đối thoại

Nên cân nhắc sử dụng nó như một giao diện đối thoại → Chuyển sang Bài giảng 5

———–

2-2 Sự phát triển của Xử lý ngôn ngữ: Từ Dịch thuật đến Hiểu ngôn ngữ

Sự tiến bộ của công nghệ xử lý ngôn ngữ thật đáng kinh ngạc, đưa những công nghệ tối tân nhất đến giai đoạn mà ai cũng có thể sử dụng. Việc chúng ta có thể truyền đạt mong muốn của mình thông qua vài lượt trao đổi là một sự kiện mang tính bước ngoặt trong lịch sử phát triển của công nghệ trí tuệ nhân tạo.

Như đã giải thích trong Bài giảng 1, trí tuệ nhân tạo tiên tiến nhất hiện nay đóng vai trò như một Trợ lý (Assistant). Người dùng sẽ sử dụng ngôn ngữ để đưa ra Chỉ thị (Instruction / 指示) công việc cho trợ lý. Trợ lý sẽ tuân theo các chỉ thị này và đưa ra phản hồi. Ví dụ, nó có thể phản hồi lại các chỉ thị như sau:

(1) Hãy tạo một đoạn chào mừng để mở đầu cho buổi đào tạo nhân viên vào ngày mai (Tạo văn bản / Text generation / 文章の生成). 

(2) Hãy kiểm tra xem đoạn văn tiếng Anh sau đây có lỗi ngữ pháp nào không, nếu có hãy chỉ ra (Kiểm tra ngữ pháp / Grammar check / 文法のチェック). 

(3) Dựa vào báo cáo sự cố dưới đây, hãy liệt kê 3 nguyên nhân tiềm ẩn (Liệt kê giả thuyết).

Bên cạnh những ví dụ trên, còn rất nhiều khả năng khác như tóm tắt văn bản hay tạo ra đề thi. Những “công việc mà hệ thống thực hiện” như vậy được gọi là Tác vụ (Task / タスク). Ví dụ, các Tác vụ tạo văn bản, Tác vụ hỏi đáp (Question-answering), Tác vụ hiểu ngôn ngữ, Tác vụ dịch thuật v.v. vốn đã được nghiên cứu từ lâu trong lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural language processing – NLP / 自然言語処理) truyền thống. Điểm đặc trưng hiện nay là thay vì sử dụng các mô hình chuyên biệt cho từng tác vụ khác nhau, người ta đang dùng một Mô hình ngôn ngữ lớn để xử lý tất cả các tác vụ đó.

Các ứng dụng trong doanh nghiệp bao gồm Tìm kiếm văn bản (Document retrieval / 文書検索) và Hệ thống hỏi đáp (Question-answering system / 質問応答). Tại ngành sản xuất, tìm kiếm văn bản thường được ứng dụng để tra cứu Bằng sáng chế (Patents / 特許), Tài liệu thiết kế (Design documents / 設計文書), hay Báo cáo sự cố (Trouble reports / トラブル報告書). Còn hệ thống hỏi đáp chính là các Chatbot (チャットボット) dùng để hỗ trợ khách hàng (Customer support).

Do nghiên cứu về Xử lý ngôn ngữ tự nhiên có lịch sử lâu đời, phần này sẽ giải thích về (1) Sự thay đổi trong cơ chế xử lý ngôn ngữ, (2) Sự thay đổi về Dữ liệu huấn luyện, (3) Sự thay đổi trong các Ứng dụng.

Về (1) Cơ chế xử lý ngôn ngữ, nhìn chung có thể chia làm 3 giai đoạn: Thời kỳ con người phải tự viết quy tắc để hệ thống Phân tích (Parse / 解析); Thời kỳ sử dụng Mô hình học máy thống kê (Statistical machine learning models / 統計的機械学習モデル) với lượng dữ liệu lớn; và Thời kỳ sau khi Học sâu (Deep learning / 深層学習) ra đời.

Về (2) Dữ liệu huấn luyện, cũng có 3 giai đoạn: Thời kỳ thu thập dữ liệu bằng sức người; Thời kỳ thu thập lượng lớn dữ liệu rồi sắp xếp lại để sử dụng; và hiện tại là Thời kỳ thu thập và chọn lọc dữ liệu quy mô khổng lồ một cách tự động. Một khía cạnh khác của dữ liệu huấn luyện là Đơn vị xử lý. Trước đây, hệ thống xử lý từng câu đơn lẻ làm đơn vị, nhưng ngày nay, đơn vị xử lý đã mở rộng thành một Đoạn văn hoặc một Văn bản hoàn chỉnh.

Về (3) Ứng dụng, các ứng dụng điển hình trước đây là Tìm kiếm văn bản, Hệ thống hỏi đáp và Dịch máy (Machine translation / 機械翻訳). Một sự khác biệt nữa trong khía cạnh ứng dụng là đối tượng dữ liệu được sử dụng: Đó là thông tin công khai (Public information), hay có bao gồm cả những thông tin nội bộ không được công bố của doanh nghiệp.

2-2-1 Tiến triển từ Dịch máy Thống kê sang Học sâu

Để giải thích rõ hơn về sự phát triển của công nghệ xử lý ngôn ngữ, tôi sẽ lấy phương pháp Dịch máy làm ví dụ. Dịch máy là quá trình chuyển đổi câu từ một ngôn ngữ này sang ngôn ngữ khác. Ví dụ, một hệ thống có khả năng dịch tiếng Anh sang tiếng Pháp.

Những phương pháp sơ khai tiếp cận theo hướng dùng kiến thức ngữ pháp để Phân tích cú pháp (Syntactic parsing / 構文解析) và Phân tích ngữ nghĩa (Semantic parsing / 意味解析). Tiếp đó, người ta chuyển sang sử dụng các Phương pháp thống kê (Statistical methods / 統計的な手法). Cuối cùng, công nghệ Học sâu đã được áp dụng.

Nguyên nhân đưa công nghệ Học sâu vào lĩnh vực xử lý ngôn ngữ bắt nguồn từ việc sử dụng các mô hình chuyển đổi một Chuỗi (Sequence / 系列) ngôn ngữ này thành một Chuỗi ngôn ngữ khác. Các mô hình này được gọi là Mô hình chuyển đổi chuỗi (Sequence-to-sequence model / 系列変換モデル).

Đây là công nghệ cho phép chuyển đổi câu từ ngôn ngữ này sang ngôn ngữ khác mà không cần kiến thức về ngữ pháp, miễn là có đủ Dữ liệu huấn luyện. Dữ liệu huấn luyện cần thiết ở đây là những nội dung giống nhau được biểu đạt bằng cả tiếng Anh và tiếng Pháp. Loại dữ liệu này được gọi là Ngữ liệu song ngữ (Parallel corpus / 対訳コーパス).

Điểm cốt yếu là, thay vì phải dùng sức người để viết ra các quy tắc ngữ pháp, chúng ta chuyển sang cơ chế: chuẩn bị một lượng lớn dữ liệu huấn luyện chất lượng cao, và phần còn lại là để cho mô hình tự học.

Trong Mô hình chuyển đổi chuỗi, khi một câu tiếng Anh được nhập vào, nó sẽ được nén thành một Vector đa chiều (Multi-dimensional vector / 多次元ベクトル). Đối với việc tạo ra tiếng Pháp, mô hình sẽ sinh ra (Generate / 生成) lần lượt từng từ tiếng Pháp một dựa trên vector đã được nén đó.

Tuy nhiên, thay vì phải “ghi nhớ” toàn bộ câu gốc rồi mới tạo ra từng từ, một mô hình mới đã được đề xuất: Mô hình này sẽ nhìn vào tổng thể câu gốc và đặt Trọng số (Weight / 重み) vào những từ có liên quan. Ví dụ, khi dịch câu tiếng Anh “I will go” sang tiếng Pháp, việc vừa nhìn vào các từ tiếng Anh gốc vừa tiến hành dịch dường như sẽ hợp lý hơn là cố gắng ghi nhớ toàn bộ. Phương pháp này được gọi là Dịch máy sử dụng Cơ chế chú ý (Attention mechanism / 注意機構) [4].

Tiến xa hơn, vào năm 2017, một mô hình mang tên Transformer (トランスフォーマー) đã được đề xuất. Mô hình này được coi là một bước ngoặt, bởi sau đó nó không chỉ được ứng dụng trong xử lý ngôn ngữ mà còn lan rộng sang nhiều lĩnh vực khác như âm thanh và hình ảnh.

2-2-2 Sự xuất hiện của Transformer

Transformer, khi đóng vai trò là một mô hình dùng cho Dịch máy, được cấu thành từ hai phần: Bộ mã hóa (Encoder / 符号化器) và Bộ giải mã (Decoder / 復号器) [5].

Bộ mã hóa sẽ chuyển đổi câu đầu vào thành một chuỗi các Vector đa chiều, sao cho những từ có mối liên hệ mật thiết với nhau sẽ có giá trị (Value / 値) tương tự nhau. Chiều dài của chuỗi này không thay đổi. Còn Bộ giải mã, dựa trên chuỗi Vector đa chiều đã được Bộ mã hóa chuyển đổi, kết hợp với đoạn câu dịch đã tạo ra trước đó, sẽ xuất ra (Output / 出力) từ tiếp theo của ngôn ngữ đích.

Ví dụ, khi dịch tiếng Anh sang tiếng Pháp, Bộ mã hóa sẽ chuyển đổi toàn bộ câu tiếng Anh thành một chuỗi Vector có cùng độ dài. Sau đó, Bộ giải mã sẽ dựa vào chuỗi Vector này và kết quả đã dịch từ trước để lần lượt xuất ra từng từ tiếng Pháp một.

Đặc điểm nổi bật trong cấu trúc của mô hình này là khả năng sử dụng nhiều Cơ chế chú ý (Attention mechanisms). Hơn nữa, nó có khả năng xử lý xem mức độ liên quan (Mối tương quan / Correlation / 関連性) giữa các từ bất kỳ trong cùng một câu mạnh yếu ra sao. Cơ chế xử lý mối liên hệ giữa các từ trong cùng một câu được gọi là Cơ chế tự chú ý (Self-attention mechanism / 自己注意機構). Trong trường hợp dịch thuật, nó cũng có thể biểu diễn mối liên hệ giữa toàn bộ các từ trong ngôn ngữ gốc với một từ nhất định trong ngôn ngữ đích.

Một đặc điểm quan trọng khác là cấu trúc mô hình cực kỳ phù hợp với Tính toán song song (Parallel computing / 並列計算). Việc nó có thể tối ưu cho các tính toán quy mô khổng lồ chính là tiền đề cho phép các mô hình về sau tăng kích thước lên mức khổng lồ (Large-scale / 大規模化).

Thuật ngữ “Transformer” vốn là tên gọi của mô hình dành cho dịch máy. Về sau, khi người ta sử dụng tách rời chỉ Bộ mã hóa hoặc chỉ Bộ giải mã cho các mục đích khác, nó đã trở thành một thuật ngữ mang nhiều tầng nghĩa. Bạn có thể hiểu nó như một mô hình tích hợp cơ chế Tự chú ý, nhưng nhìn chung, cái tên này được dùng để chỉ một mô hình tổng hợp ưu điểm của việc áp dụng đa cơ chế chú ý và khả năng tính toán song song.

Dù Transformer được đề xuất trong lĩnh vực xử lý ngôn ngữ, nhưng nó đã tạo ra ảnh hưởng to lớn đến các lĩnh vực khác như âm thanh và hình ảnh. Đặc biệt, theo tôi, tầm ảnh hưởng của nó đối với lĩnh vực xử lý hình ảnh là rất đáng kể. Lý do là vì nó đã đặt nền móng cho các Mô hình nền tảng sử dụng dữ liệu quy mô siêu lớn sau này.

2-3 Mô hình Ngôn ngữ Lớn: Bài toán điền vào chỗ trống, Học thuộc lòng và Học tăng cường

Bên cạnh dịch máy, công nghệ xử lý ngôn ngữ tự nhiên còn được ứng dụng rất đa dạng. Một trong những lĩnh vực đó là Hiểu ngôn ngữ (Language understanding / 言語理解). Khi học sinh cấp ba học tiếng Anh, các em thường xuyên phải giải các bài kiểm tra trắc nghiệm. Ý tưởng ở đây là bắt máy tính làm một việc tương tự như vậy.

Đối với một số dạng câu hỏi, người ta sẽ chuẩn bị Dữ liệu huấn luyện (Training data / 学習用データ) và Dữ liệu kiểm tra (Test data / テスト用データ) để cạnh tranh về hiệu năng. Đây có thể coi là một phương pháp thiết lập bài toán tiến gần hơn đến Trí tuệ của con người trong việc thấu hiểu ngôn ngữ.

Yếu tố tạo ra bước nhảy vọt về hiệu năng cho các Tác vụ Hiểu ngôn ngữ này chính là việc áp dụng công nghệ Học tự giám sát (Self-supervised learning / 自己教師あり技術). Học tự giám sát là phương pháp nhằm thu được Không gian đặc trưng (Feature space / 特徴空間) hữu ích thông qua việc giải quyết các tác vụ được thiết lập nhân tạo.

Việc hệ thống có thể học mà không cần chuẩn bị sẵn Đầu vào (Input) và Đáp án đúng (Ground truth / 正解) đã mở ra khả năng huấn luyện các mô hình không bị giới hạn về đối tượng dữ liệu. Dù nghe có vẻ đơn giản, nhưng ý nghĩa sâu xa của nó thực sự là một bước tiến vĩ đại.

2-3-1 Học tự giám sát: Tự tạo và tự giải bài toán điền vào chỗ trống

Học tự giám sát đang được ứng dụng rộng rãi, không chỉ mang lại tiến bộ to lớn trong lĩnh vực công nghệ xử lý ngôn ngữ, mà còn trong cả lĩnh vực hình ảnh và âm thanh. Máy tính đóng vai trò làm “Giáo viên” sẽ chuẩn bị cả câu hỏi và đáp án, sau đó, máy tính đóng vai trò “Học sinh” sẽ sử dụng các cặp câu hỏi – đáp án đó để huấn luyện mô hình.

Có thể bạn sẽ thắc mắc “làm vậy thì có ý nghĩa gì?”, nhưng thực tế, nếu thiết lập các Điều kiện (Conditions / 条件) một cách khéo léo, hiệu quả học tập đạt được sẽ cực kỳ cao.

Học tự giám sát là một trong những phương pháp nhằm thu được không gian đặc trưng, hay còn gọi là Học biểu diễn (Representation learning / 表現学習). Nó bao gồm các phương pháp sau: (1) Học đối chiếu, (2) Khôi phục dữ liệu bị che khuất (Masked data), (3) Dự đoán yếu tố tiếp theo.

Mô hình thu được từ Học tự giám sát có thể được áp dụng cho nhiều Tác vụ khác nhau thông qua các kỹ thuật như Học bổ sung (Fine-tuning / 追加学習) hoặc chỉ ra các ví dụ cụ thể. Những mô hình có khả năng tùy biến linh hoạt như vậy được gọi là Mô hình nền tảng. Hình 2-2 là bản tóm tắt về Học tự giám sát.

(1) Học đối chiếu (Contrastive learning / 対比学習) là phương pháp học thông qua sự so sánh. Nói một cách đơn giản, nó học cách biến đổi (Transformation / 変換) sao cho những vật giống nhau sẽ được đặt gần nhau, và những vật khác nhau sẽ bị đẩy ra xa nhau trong không gian đặc trưng.

(2) Trong phương pháp khôi phục dữ liệu bị che khuất (Masked data), một mô hình nổi tiếng trong lĩnh vực xử lý ngôn ngữ là BERT (Bidirectional Encoder Representations from Transformers) [6]. Nó sẽ dùng một “mặt nạ” (Mask) để che giấu một phần các từ trong câu, sau đó hệ thống sẽ tự học cách để khôi phục lại (điền vào) những từ bị che đó. Về mặt cấu trúc, nó sử dụng phần Bộ mã hóa (Encoder) của mô hình Transformer.

(3) Về phương pháp dự đoán yếu tố tiếp theo: đối với Mô hình ngôn ngữ (Language model / 言語モデル), khi được cung cấp một chuỗi các từ, mô hình sẽ dự đoán từ tiếp theo là gì. Các mô hình ngôn ngữ tự hồi quy (Autoregressive language models) như GPT (Generative Pre-trained Transformer) [7] chính là những mô hình được huấn luyện theo phương pháp này. Về mặt cấu trúc, nó sử dụng phần Bộ giải mã (Decoder) của mô hình Transformer.

Những phương pháp này là quá trình học dựa trên các tác vụ được thiết lập nhân tạo, và không đòi hỏi Nhãn đáp án (Ground truth labels / 正解ラベル) như trong phương pháp Học có giám sát (Supervised learning / 教師あり学習). Nhờ ưu điểm này, chúng ta có thể tận dụng lượng dữ liệu khổng lồ để huấn luyện những mô hình quy mô cực lớn.

Hình 2-2 【Học tự giám sát: Phương pháp nhằm thu được không gian đặc trưng hữu ích thông qua việc giải quyết các tác vụ được thiết lập nhân tạo】 

(1) Học đối chiếu 

(2) Khôi phục dữ liệu bị che khuất (Masked data) 

(3) Dự đoán yếu tố tiếp theo

Mô hình nền tảng: Mô hình được tạo ra bằng Học tự giám sát

■ Giải bài toán điền vào chỗ trống

Tiếp theo, chúng ta hãy cùng tìm hiểu về BERT (mô hình học sử dụng kỹ thuật che giấu từ) – một trong những phương pháp Học tự giám sát (Self-supervised learning) trong lĩnh vực xử lý ngôn ngữ. 

Đây là mô hình được gọi là BERT (Bi-directional Encoder Representations from Transformers). Đầu tiên, chúng ta sẽ giải thích về tên gọi của nó. “Hai chiều (Bi-directional)” có nghĩa là nó bao gồm cả quá trình xử lý xem xét văn bản theo thứ tự từ đầu đến cuối và quá trình xử lý xem xét ngược lại từ cuối lên đầu. Ngoài ra, “Biểu diễn được mã hóa thu được từ Transformer (Encoder Representations from Transformers)” có nghĩa là văn bản sẽ được biến đổi thông qua Bộ mã hóa (Encoder / 符号化器). Đây là một mô hình thực hiện Học tiền huấn luyện (Pre-training / 事前学習) các biểu diễn mã hóa chuỗi, sau đó thực hiện các Tác vụ xử lý ngôn ngữ (Language processing tasks / 言語処理タスク) đa dạng thông qua Học tinh chỉnh (Fine-tuning / 追加学習). Mặc dù giải thích thuật ngữ là như trên, nhưng điều mang tính bản chất hơn là việc nó sử dụng Học tự giám sát (Self-supervised learning / 自己教師あり学習) trong quá trình huấn luyện. Trong mô hình này, hệ thống sẽ thực hiện 2 tác vụ (Tác vụ 1 và Tác vụ 2) dưới dạng các tác vụ của Học tiền huấn luyện. Tác vụ 1 được gọi là Mô hình ngôn ngữ bị che khuất (Masked language model / マスクされた言語モデル). Như đã giải thích trước đó, hệ thống được học cách ẩn đi một số từ trong văn bản và sau đó khôi phục lại chúng. Mặt khác, Tác vụ 2 đưa ra 2 câu và yêu cầu hệ thống dự đoán xem câu sau có phải là câu nối tiếp của câu trước hay không. BERT thực hiện việc học mô hình thông qua các tác vụ này dưới dạng Học tiền huấn luyện. Vì đây là các thiết lập tác vụ nhân tạo, nên nó có lợi thế là có thể sử dụng lượng lớn Dữ liệu (Data / データ). Tập dữ liệu (Corpus / コーパス) được sử dụng cho Học tiền huấn luyện là các loại sách và văn bản trên Internet. Đối với sách, hệ thống sử dụng kho dữ liệu được gọi là BooksCorpus. Đối với văn bản trên Internet, hệ thống cũng sử dụng thông tin từ Wikipedia phiên bản tiếng Anh. Hệ thống chỉ sử dụng phần văn bản (text), không sử dụng danh sách, bảng biểu hay tiêu đề. Đồng thời, hệ thống sử dụng Tập dữ liệu văn bản (Corpus / コーパス) ở cấp độ toàn bộ văn bản (document level). Các hệ thống Dịch máy (Machine translation / 機械翻訳) trước đây về cơ bản lấy 1 câu làm đơn vị. Tuy nhiên, để thực hiện các tác vụ như Hiểu ngôn ngữ (Language understanding / 言語理解), cần phải xử lý ở cấp độ đoạn văn/văn bản. Lý do là vì với một tập dữ liệu lấy 1 câu làm đơn vị, hệ thống sẽ không thể học được mối quan hệ giữa nhiều câu với nhau.

■ Cơ chế giúp giải quyết được các bài toán kiểm tra tiếng Anh Có rất nhiều loại tác vụ Hiểu ngôn ngữ (Language understanding / 言語理解). Dưới đây là một số ví dụ.

(1) Phân loại lớp của 2 câu: (Ví dụ) Phân loại 2 câu thuộc loại hàm ý, mâu thuẫn hay không liên quan. (2) Phân loại lớp của 1 câu: (Ví dụ) Phân loại đánh giá (review) là tích cực hay tiêu cực. (3) Hỏi đáp (Question/Answering / 質問応答): Nhập câu hỏi và đoạn văn bản giải thích, hệ thống sẽ trích xuất một phần của đoạn giải thích để làm câu trả lời.

Trong mô hình này (BERT), cấu trúc phụ thuộc vào tác vụ sẽ được thêm vào Lớp (Layer / 層) cuối cùng của mô hình đã thu được từ Học tiền huấn luyện (Pre-training / 事前学習), sau đó hệ thống sẽ tiến hành Học tinh chỉnh (Fine tuning / 追加学習). Việc Học tinh chỉnh sẽ sử dụng dữ liệu đã được gán Nhãn đáp án đúng (Ground truth labels / 正解ラベル). Ví dụ, trong trường hợp tác vụ Hiểu ngôn ngữ là đánh giá một bài review là “Tích cực” hay “Tiêu cực”, hệ thống sẽ sử dụng tập dữ liệu dùng cho Học tinh chỉnh là dữ liệu đã được gán nhãn đáp án đúng (tích cực hay tiêu cực) cho từng bài review riêng lẻ. Mô hình này có đặc điểm là Khối lượng tính toán (Computational cost / 計算量) cần thiết cho Học tiền huấn luyện thì cực kỳ lớn, nhưng khối lượng tính toán cho Học tinh chỉnh lại nhỏ. Do đó, đây là một mô hình rất dễ sử dụng đối với các kỹ sư và nhà nghiên cứu ở khía cạnh ứng dụng. Từ bối cảnh đó, các mô hình phát triển đa dạng đã được đề xuất. Về mục đích sử dụng, nó không chỉ được dùng cho tác vụ Hiểu ngôn ngữ mà còn bắt đầu được dùng cho cả Tác vụ tìm kiếm (Search tasks / 検索タスク). Tuy nhiên, đối với tác vụ Hiểu ngôn ngữ, mô hình có nhược điểm là đòi hỏi phải thực hiện Học tinh chỉnh bằng dữ liệu có gán nhãn phù hợp với Bài toán (Task / 課題) cần giải quyết. Do đó, Mô hình ngôn ngữ tự hồi quy (Autoregressive language models / 自己回帰型の言語モデル) được giải (Mô hình dự đoán từ tiếp theo) đã được thiết kế để có thể đối phó với các tác vụ mới thông qua việc đưa ra ví dụ, thay vì phải thực hiện Học tinh chỉnh.

2-3-2 Chỉ thị thông qua Ngữ cảnh (Context / 文脈): Học thuộc lòng và Cung cấp ví dụ để yêu cầu trả lời

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural language processing / 自然言語処理), mô hình dự đoán từ tiếp theo được gọi là Mô hình ngôn ngữ (Language model / 言語モデル) và có một lịch sử phát triển lâu dài. Loại mô hình ngôn ngữ tiêu biểu sử dụng xác suất của sự sắp xếp các từ, được gọi là Mô hình ngôn ngữ thống kê (Statistical language models / 統計的言語モデル). Ứng dụng mô hình này vào Nhận dạng giọng nói (Speech recognition / 音声認識) hay Nhận dạng ký tự (Character recognition / 文字認識) sẽ mang lại hiệu quả giảm thiểu các lỗi nhận dạng. Ngược lại, mô hình sử dụng Bộ giải mã (Decoder / 復号器) của Transformer để dự đoán từ tiếp theo chính là GPT (Generative Pre-trained Transformer). Nó đôi khi còn được gọi là Mô hình ngôn ngữ tự hồi quy (Autoregressive language models / 自己回帰型の言語モデル). Mô hình này thực hiện Học tiền huấn luyện trên mô hình ngôn ngữ (Bộ giải mã của Transformer) và sử dụng nó như một Mô hình tạo sinh (Generative model / 生成モデル) để dự đoán từ tiếp theo. Ý nghĩa của từ này là “mô hình Transformer thực hiện việc tạo sinh đã trải qua quá trình Học tiền huấn luyện”. Tương tự như BERT, mô hình này cũng dựa trên cơ chế Học tự giám sát. Dù khối lượng tính toán trong quá trình học là khổng lồ, nhưng nó có lợi thế là nếu sử dụng phương pháp Phản hồi dựa trên ví dụ minh họa (In-context learning / 例示による応答), khối lượng tính toán cần thiết sẽ được giảm thiểu đáng kể.

■ Cung cấp ví dụ để yêu cầu trả lời (Chỉ thị thông qua Ngữ cảnh) Ở giai đoạn đầu, các nghiên cứu tập trung vào khuôn khổ thực hiện Học tiền huấn luyện cho Mô hình tự hồi quy, sau đó Học tinh chỉnh lại mô hình đó. Về sau, khi nghiên cứu tiến triển, mô hình có tên gọi GPT-3 cùng với phương pháp sử dụng nó đã được đề xuất [8]. Tiêu đề của bài báo đó là “Mô hình ngôn ngữ có thể học chỉ bằng cách cung cấp một vài ví dụ”, nhấn mạnh vào điểm mô hình có thể được sử dụng mà không cần Học tinh chỉnh. GPT-3 là một Mô hình ngôn ngữ tự hồi quy, nhưng đây là một mô hình cực kỳ lớn với tới 175 tỷ Tham số (Parameters / パラメーター). Bài báo này mang tính đột phá ở chỗ nó chỉ ra rằng, về mặt phương pháp sử dụng, chỉ cần cung cấp ví dụ và yêu cầu hệ thống trả lời là đã có thể đạt được hiệu suất (Performance / 性能) rất đáng kể. Đây chính là mô hình làm nền tảng cho ChatGPT sau này. Về phương pháp sử dụng, có các phương pháp như: chỉ đưa ra câu hỏi và yêu cầu trả lời, đưa ra 1 ví dụ duy nhất rồi yêu cầu giải quyết bài toán, và phương pháp đưa ra nhiều ví dụ dưới dạng ngữ cảnh rồi yêu cầu giải quyết bài toán. Chẳng hạn, trong trường hợp tác vụ là dịch tiếng Anh sang tiếng Pháp, chúng ta sẽ đưa Đầu vào (Input) như Hình 2-3.

Hình 2-3 ● Phương pháp chỉ thị tác vụ bằng cách cung cấp ví dụ dưới dạng ngữ cảnh (Tác giả tự thiết kế)

● Trường hợp chỉ đưa ra câu hỏi và yêu cầu trả lời (Zero-shot) 

[Đầu vào] Translate English to French, sun => ? 

● Trường hợp chỉ đưa ra 1 ví dụ và yêu cầu trả lời (One-shot) 

[Đầu vào] Translate English to French, moon => lune, sun => ? 

● Trường hợp đưa ra 2 ví dụ và yêu cầu trả lời (Few-shot) 

[Đầu vào] Translate English to French, sky => ciel, moon => lune, sun => ?

Như vậy, phương pháp cung cấp ví dụ để chỉ thị tác vụ như một loại Ngữ cảnh (Context) được gọi là Học trong ngữ cảnh (In-context learning / 本文中学習). Hình 2-4 tóm tắt các phương pháp chỉ thị tác vụ thông qua việc cung cấp ví dụ. Nội dung đầu vào đối với Mô hình ngôn ngữ lớn được gọi là Câu lệnh (Prompt / プロンプト).

Ngữ cảnh (Context / 文脈) 

Mô hình Học tiền huấn luyện (Pre-trained model / 事前学習モデル) -> Giải thích và minh họa A -> Tác vụ A (Task A / タスクA) 

Mô hình Học tiền huấn luyện (Pre-trained model / 事前学習モデル) -> Giải thích và minh họa B -> Tác vụ B (Task B / タスクB) 

Mô hình Học tiền huấn luyện (Pre-trained model / 事前学習モデル) -> Giải thích và minh họa C -> Tác vụ C (Task C / タスクC) 

Không cần Học lại (No retraining required / 再学習不要) | Có thể áp dụng cho nhiều Tác vụ (Applicable to multiple tasks / 複数のタスクに適用可能)

Hình 2-4 ● Phương pháp chỉ thị tác vụ thông qua việc cung cấp ví dụ (In context learning) (Tác giả tự thiết kế)

2-3-3 Học sinh và Giáo viên đều là Máy tính: Vai trò của Học tăng cường

Đối với việc nâng cao hiệu suất của AI đối thoại (Conversational AI / 対話型AI), Học tăng cường (Reinforcement learning / 強化学習) đang đóng một vai trò quan trọng. Do sử dụng thông tin phản hồi từ con người, phương pháp này còn được gọi là RLHF (Reinforcement Learning with Human Feedback). Sự kết hợp giữa Học có giám sát, Mô hình phần thưởng (Reward model / 報酬モデル) và Học tăng cường cũng giống như nguyên lý hoạt động của chương trình cờ vây bằng Trí tuệ nhân tạo AlphaGo. Phương pháp được giới thiệu trong bài báo [9] về hệ thống sử dụng Học tinh chỉnh và Học tăng cường làm nền tảng cho ChatGPT, bao gồm việc thực hiện quá trình học theo 3 giai đoạn sau đây.

(1) Học có giám sát để tạo phản hồi (Con người trực tiếp viết câu trả lời) Lấy Câu lệnh làm tập mẫu, con người sẽ trực tiếp viết ra câu trả lời (phản hồi). Sử dụng tập dữ liệu học này, hệ thống sẽ thực hiện Học tinh chỉnh cho GPT-3 với tư cách là mô hình khởi tạo ban đầu.

(2) Học có giám sát cho Mô hình phần thưởng (Con người xếp hạng thủ công) Con người sẽ tiến hành xếp hạng (rank) thủ công đối với nhiều kết quả Đầu ra (Output / 出力) thu được từ mô hình. Sử dụng dữ liệu học này, hệ thống sẽ huấn luyện một Mô hình phần thưởng (Reward model / 報酬モデル) để ước tính mức độ tốt của các Đầu ra từ mô hình.

(3) Học tăng cường (Cả Học sinh và Giáo viên đều là Máy tính) Đối với Đầu ra thu được từ mô hình, hệ thống sẽ sử dụng Mô hình phần thưởng để ước tính phần thưởng (Reward), sau đó tiến hành Tối ưu hóa (Optimization / 最適化) mô hình thông qua Học tăng cường. Các tác vụ được giả định thiết lập dựa trên việc cân nhắc xem người dùng muốn thực hiện những gì.

① Tóm tắt văn bản, tóm tắt kết quả tìm kiếm 

② Viết bài tiểu luận ngắn 

③ Tìm lỗi ngữ pháp tiếng Anh 

④ Giải đáp các bài tập tiếng Anh dưới dạng Hỏi đáp 

⑤ Tìm lỗi trong chương trình được viết bằng Ngôn ngữ lập trình, v.v.

(1) Động não (Brainstorming / ブレインストーミング) 

[Đầu vào] Hãy liệt kê 5 ý tưởng về cách thể hiện sự nhiệt huyết đối với sự nghiệp của bản thân 

(2) Trích xuất (Extraction / 抽出) 

[Đầu vào] Hãy trích xuất tất cả các địa danh có trong bài viết sau 

(3) Tóm tắt (Summarization / 要約) 

[Đầu vào] Hãy tóm tắt văn bản sau đây dành cho học sinh lớp 2 tiểu học

Hình 2-5 ● Các ví dụ về Câu lệnh (Prompt) (Tác giả tự thiết kế)

Tôi nghĩ rằng mô hình có khả năng phân biệt đây là loại Tác vụ nào với độ chính xác (Accuracy / 精度) khá cao. Nói cách khác, về mặt tư duy cơ bản, đây là một nỗ lực nhằm nâng cao Năng lực vận dụng ngôn ngữ (Language proficiency / 言語運用能力) của Trí tuệ nhân tạo. Các ví dụ về Câu lệnh được sử dụng ở đây được trình bày trong Hình 2-5 [9]. Trích xuất thực thể có tên (Named Entity Recognition – NER / 固有表現抽出) là một phân vùng (sub-domain) trong xử lý ngôn ngữ và đang có rất nhiều nghiên cứu đa dạng. Ở đây, tôi nghĩ việc thiết lập nó thành một Tác vụ độc lập là rất hợp lý. Khi thử sử dụng Mô hình ngôn ngữ lớn để trích xuất tên người hoặc địa danh, kết quả đạt được là khá ấn tượng. Yêu cầu tóm tắt văn bản dành cho học sinh lớp 2 tiểu học đồng nghĩa với việc yêu cầu giải thích chỉ bằng các Từ vựng cơ bản (Basic vocabulary / 基本的な単語). Yêu cầu “giải thích sao cho cả học sinh tiểu học cũng có thể hiểu” là một Câu lệnh thường xuyên được sử dụng đối với Mô hình ngôn ngữ lớn. Để có thể giải thích bằng một số lượng ít các từ vựng cơ bản, hệ thống cần phải liên kết được các Khái niệm (Concepts / 概念) phức tạp với các Khái niệm đơn giản. Có thể cho rằng thông qua những điều này, hệ thống đã dần có khả năng xử lý thực tế Mối tương quan (Correlation / 関連性) giữa khái niệm bậc cao và khái niệm bậc thấp. Đối với một mô hình tốt, “Dữ liệu chất lượng” là quy tắc vàng. Dù có các phương pháp “dạy” hay, nhưng dữ liệu tốt vẫn phải là yếu tố quan trọng hơn cả. Trong bài báo này [9] cũng vậy, việc nhờ con người viết ra những bài văn mẫu đòi hỏi những nhân tài trình độ cao có khả năng thực hiện các Công việc trí óc (Intellectual work / 知的な作業). Đối với những thông tin trên mạng, một lượng nỗ lực khổng lồ cũng đang được bỏ ra để phân biệt và lọc ra các dữ liệu có thể dùng được. Điều này cũng mang ý nghĩa là một phương pháp để dạy cho hệ thống “không được tạo sinh (Generate) những nội dung không phù hợp”. Nếu xét đến việc AlphaGo trở nên mạnh mẽ như vậy là nhờ vào hiệu quả của Học tăng cường, thì sự đóng góp của Học tăng cường trong việc làm cho hệ thống trở nên Mạnh mẽ và linh hoạt (Robust / ロバスト（頑健）) chắc chắn là vô cùng to lớn.

2-4 Ứng dụng AI tạo sinh: Tạo sinh văn bản, Suy luận, Giao diện đối thoại

2-4-1 Mô hình tạo sinh văn bản: Phương pháp ứng dụng cho Ngành sản xuất

Tiếp theo, chúng ta sẽ giải thích về việc tạo sinh văn bản trong số các cách ứng dụng của AI tạo sinh (Generative AI / 生成AI). Ban đầu, tôi sẽ giới thiệu về các phương pháp ứng dụng chung mà không yêu cầu Phát triển hay Hệ thống hóa (Systematization / システム化), chỉ cần một chút khéo léo trong Câu lệnh (Prompt / プロンプト) là có thể thực hiện được. Trí tuệ nhân tạo chuyên Tạo sinh văn bản (Text generation / 文章を生成する) thường được sử dụng để soạn thảo các loại văn bản có tính điển hình như đã có sẵn các Khuôn mẫu (Templates / テンプレート). Ví dụ như các văn bản thư mời sự kiện triển lãm, hay email xin lỗi vì giao hàng chậm trễ. Do sở hữu mức độ kiến thức nhất định, nó cũng có khả năng lồng ghép các nội dung mang tính kỹ thuật. Thậm chí có thể yêu cầu tạo bài phát biểu mở màn tại một sự kiện giới thiệu Sản phẩm mới. Tuy nhiên, việc kiểm tra lại đoạn văn bản đã được tạo sinh và tiến hành chỉnh sửa (chỉnh tay) khi cần thiết là điều không thể bỏ qua. Nói cách khác, đây là hình thức sử dụng nó như một người Trợ lý (Assistant) được giao nhiệm vụ phác thảo ý tưởng văn bản. Để tạo ra những văn bản như thế này, chúng ta cần truyền đạt rõ ràng Tình huống tiền đề (Prerequisite situation / 前提となる状況). Nếu là email thì ai là người gửi, ai là người nhận, vì lý do gì mà phải gửi email này, v.v. Sau khi đã trình bày các tình huống tiền đề đó, chúng ta mới chỉ định những việc muốn hệ thống làm. Ví dụ, chúng ta cung cấp các Điều kiện tiền đề (Prerequisites / 前提条件) như: mình là nhân viên của một doanh nghiệp trong Ngành sản xuất, và đối tượng tham gia triển lãm là các kỹ sư kỹ thuật thuộc phía Doanh nghiệp người dùng. Chúng ta cũng có thể nhờ nó thiết kế phân bổ thời gian bao gồm cả phần Giới thiệu thực tế (Demonstration) của sản phẩm mới. Nếu đưa ra chỉ thị chi tiết về độ dài văn bản, định dạng, độ khó, v.v., chúng ta sẽ thu được kết quả sát với mong muốn hơn. Cảm giác ở đây giống như việc chúng ta đang trực tiếp ban hành chỉ thị tỉ mỉ cho người Trợ lý, chứ không phải bắt họ phải tự “đoán ý”. Vì đối phương là Máy tính (Computer / コンピューター), nên cách viết giống như Ghi chú (Comments) trong chương trình (Program) thường được sử dụng. Thay vì cảm giác nhập dữ liệu vào công cụ tìm kiếm, bạn

2-4 Ứng dụng AI tạo sinh: Tạo sinh văn bản, Suy luận, Giao diện đối thoại

có thể soạn sẵn Câu lệnh bằng các Trình soạn thảo văn bản (Text editor / テキストエディター), sau đó copy & paste để nhập vào hệ thống. Phương pháp để thực hiện các mô tả chi tiết trong những chỉ thị như vậy được biết đến rộng rãi với tên gọi là Tối ưu hóa câu lệnh (Prompt engineering / プロンプトの工夫). Khi sử dụng, hãy chú ý tuyệt đối không nhập các thông tin cá nhân hoặc Thông tin bảo mật (Confidential information / 機密情報). Khi có thể thiết lập cấu hình để hệ thống không sử dụng thông tin đầu vào làm Dữ liệu học tập (Training data / 学習データ), hãy sử dụng tính năng đó. Về các ví dụ ứng dụng AI tạo sinh văn bản, các tài liệu của Thủ đô Tokyo sẽ là nguồn tham khảo hữu ích. Tài liệu này cung cấp nhiều ví dụ về Câu lệnh cho việc lên kế hoạch, đưa ra ý tưởng, soạn thảo phác thảo văn bản, tóm tắt, hay lên kế hoạch cuộc họp, v.v. [10]. Hình 2-6 tóm tắt các ví dụ ứng dụng AI tạo sinh văn bản trong Ngành sản xuất. Chúng tôi sẽ chia thành 3 nhóm để giải thích: Hỗ trợ soạn thảo tài liệu nghiệp vụ, Làm người “đối đáp” (sparring partner) khi xem xét ý tưởng, và Hỗ trợ Tự học.

(1) Hỗ trợ soạn thảo tài liệu nghiệp vụ Sổ tay quy trình thao tác, báo cáo bảo trì – kiểm định, tài liệu quản lý chất lượng, v.v. (2) Làm người “đối đáp” khi xem xét ý tưởng Sử dụng kiến thức chung về sản phẩm để yêu cầu hệ thống đưa ra ý tưởng, hoặc liệt kê các ưu điểm, nhược điểm, hay những điểm còn thiếu sót. (3) Hỗ trợ Tự học Bổ trợ cho các hoạt động đào tạo hoặc cung cấp thông tin liên quan đến quản lý sản xuất, quản lý an toàn.

Hình 2-6 ● Ví dụ ứng dụng AI tạo sinh văn bản trong Ngành sản xuất （Tác giả tự thiết kế）

■ Hỗ trợ soạn thảo tài liệu nghiệp vụ Trong Ngành sản xuất tồn tại rất nhiều loại tài liệu đa dạng như Sổ tay quy trình thao tác (Standard operating procedures / 作業手順書), báo cáo bảo trì và kiểm định, các tài liệu Quản lý chất lượng (Quality management / 品質管理). Một cách để sử dụng AI là yêu cầu AI tạo sinh soạn sẵn bản nháp cho những tài liệu này, sau đó con người sẽ xác nhận lại và chốt thành bản tài liệu cuối cùng. Nếu bạn chỉ cần tạo các tài liệu tuân theo những biểu mẫu chung (Template), thì việc này hoàn toàn có thể được hiện thực hóa chỉ thông qua Tối ưu hóa Câu lệnh. Một ví dụ điển hình là việc tạo Sổ tay hướng dẫn vận hành (Operation manuals) dành cho nhân viên về các loại thiết bị thường dùng. Bạn có thể sử dụng hệ thống theo hình thức tương tác (Conversational / 対話的に): yêu cầu hệ thống tạo một biểu mẫu Sổ tay quy trình thao tác chung, yêu cầu thêm các khía cạnh về tính An toàn (Safety / 安全性), và sau đó tinh chỉnh để phù hợp với Thiết bị (Equipment / 装置) đối tượng, từ đó hoàn thiện Sổ tay hướng dẫn vận hành cho nhân viên. Mặt khác, đối với những dạng tài liệu nội bộ có định dạng đặc thù hoặc có tính kỹ thuật chuyên môn cao của từng doanh nghiệp, cách làm này sẽ vấp phải những giới hạn nhất định. Ngoài ra, trong trường hợp đã có sẵn một hệ thống Tiêu chuẩn hóa (Standardized / 標準化) để tạo các tài liệu cùng loại thường xuyên, cách tiếp cận tốt hơn là áp dụng một mức độ Tự động hóa (Automation / 自動化) nhất định, và chỉ để con người thực hiện việc kiểm tra ở khâu cuối cùng. Trong trường hợp này, chúng ta sẽ thực hiện việc Phát triển và Hệ thống hóa (Systematization / システム化) như sẽ được trình bày ở Bài giảng 5. Khi đó, cần phải đảm bảo hệ thống có thể tham chiếu các tài liệu nội bộ (In-house documents), cũng như phải chuẩn bị riêng các Nguồn thông tin (Information sources / 情報源) đặc thù thuộc về Lĩnh vực công nghệ (Technology domain / 技術領域) đó.

■ Làm người “đối đáp” khi xem xét ý tưởng (Ideation sparring partner / アイデアを検討する際の壁打ち) Hệ thống cũng có thể được sử dụng làm người “đối đáp” để rèn giũa khi bạn đang xem xét các ý tưởng. Do sở hữu một lượng lớn kiến thức thông thường về các Sản phẩm đa dạng trong Ngành sản xuất, hệ thống sẽ trở thành một đối tác trò chuyện đắc lực khi bạn cần cân nhắc ý tưởng. Nó có thể được sử dụng để hiểu các công nghệ điển hình đang áp dụng trên sản phẩm hiện tại, cũng như tìm hiểu về một Công nghệ mới (New technology / 新しい技術) chưa từng được sử dụng trước đây, qua đó thăm dò những tiềm năng nếu kết hợp chúng lại với nhau. Có thể ứng dụng hệ thống này trong nhiều Nghiệp vụ (Business operations / 業務) khác nhau như Phát triển (Development / 開発), Thiết kế (Design / 設計), Quản lý sản xuất (Production management / 生産管理), hay Bảo trì (Maintenance / 保守). Ví dụ, trong trường hợp bạn muốn thay thế một Vật liệu (Material / 素材) bằng một loại vật liệu khác, bạn có thể trao đổi các điều kiện, yêu cầu và các Đặc tính (Characteristics / 特性) nào cần được ưu tiên. Từ đó, bạn yêu cầu hệ thống liệt kê ra nhiều phương án khả thi khác nhau, rồi tiếp tục tương tác để cùng nhau thảo luận, cân nhắc về từng phương án đó.