Chương 8.5: Tranh biện

Chúng ta có thể cho hai hệ thống AI tranh luận về một vấn đề, với một giám khảo là con người đứng ra phân định người thắng. Về mặt lý thuyết, việc duy trì một lời nói dối khó hơn việc bác bỏ nó, điều này có thể giúp làm lộ ra thông tin trung thực và khơi gợi tri thức ẩn giấu của AI.

Việc đảm bảo các hệ thống AI "trung thực nói cho chúng ta biết mọi điều chúng biết" là yếu tố then chốt đối với căn chỉnh. Điều này có nghĩa là nếu một mô hình đề xuất một kế hoạch dựa trên những hệ quả nhất định, nó cũng cần truyền đạt những hệ quả đó. Đây là một thách thức vì các cấu trúc khuyến khích dựa trên phản hồi có thể thưởng cho những câu trả lời nghe có vẻ hợp lý hơn là những câu trả lời thực sự chính xác. Vậy làm thế nào để chúng ta khiến các mô hình cho chúng ta biết nhiều nhất có thể về quá trình suy luận thấu đáo và hệ quả của mọi đầu ra mà chúng tạo ra? Chúng ta muốn tránh những tình huống mà mô hình biết rõ hệ quả của một hành động nhưng lại giấu thông tin đó vì nó biết con người sẽ không thích những hệ quả ấy.

Hãy hình dung hai mô hình AI, mỗi mô hình đều cố gắng thuyết phục một giám khảo là con người rằng câu trả lời của mình cho một câu hỏi là câu trả lời đúng.

Ý tưởng ở đây là việc các mô hình này tranh biện với nhau sẽ phơi bày những sai sót và sự xuyên tạc của nhau, đồng thời phê bình lập luận của nhau. Các lập luận có thể bao gồm lý do cho một câu trả lời, các lập luận phản bác, những điểm tinh tế mà giám khảo có thể bỏ sót, hoặc việc chỉ ra những thiên kiến. Nếu một AI đưa ra một lập luận sai lệch hoặc gây hiểu lầm, AI còn lại, với mục tiêu thắng cuộc tranh biện, sẽ có động lực chỉ ra những sai sót đó. Về mặt lý thuyết, điều này sẽ khơi gợi tri thức tiềm ẩn, đồng thời ưu ái những lập luận trung thực, chính xác hơn là những lập luận lừa dối.

Thiết lập trò chơi hai người có tổng bằng không (zero-sum game) này được gọi là "An toàn AI thông qua Tranh biện" (AI Safety via Debate).

Nói một cách chính xác hơn một chút, hiện tại các hệ thống chính sử dụng An toàn AI thông qua Tranh biện là các mô hình ngôn ngữ lớn (LLM). Chúng ta đưa cho các LLM một câu hỏi để tranh biện, chúng trình bày các lập luận và phản biện, sau đó được hiển thị cho một giám khảo là con người dưới dạng bản ghi. Sau đó, chúng ta yêu cầu giám khảo dựa trên các lập luận để xác định xem họ ủng hộ hay bác bỏ mệnh đề được nêu ra trong câu hỏi. Tùy vào thiết lập cụ thể được sử dụng cho cuộc tranh biện, chúng ta cũng có thể đưa ra phản hồi cho giám khảo về việc phán quyết của họ có đúng hay không, và đưa ra phản hồi cho các LLM về việc lập luận của chúng có tính thuyết phục hay không.

Hãy hình dung một LLM trong tương lai gần đã đọc mọi bài báo nghiên cứu y sinh từng được viết ra. Mô hình này có quyền truy cập vào một lượng thông tin quý giá khổng lồ, nhưng nó cũng có xu hướng ảo giác (hallucinate) hoặc nói những gì nó nghĩ rằng bạn muốn nghe. Để giải quyết vấn đề này, chúng ta thiết lập một cuộc tranh biện giữa hai bản sao của LLM đó. Một bên lập luận rằng một loại thuốc điều trị ung thư mới có hiệu quả, trong khi bên kia lập luận rằng nó không hiệu quả. Chúng tranh biện bằng ngôn ngữ tự nhiên về câu trả lời đúng cho một câu hỏi cho trước. Giám khảo là con người được xem bản ghi các lập luận từ cả hai phía, cân nhắc bằng chứng, và quyết định lập luận nào thuyết phục hơn.

Theo thời gian, chúng ta có thể chạy nhiều vòng lặp của các cuộc tranh biện này để xem chúng có hiệu quả hay không. Nếu chúng hiệu quả, chúng ta làm cho các cuộc tranh biện khó hơn bằng cách đặt ra những câu hỏi hóc búa hơn và đưa vào những thử thách mới. Nếu chúng thất bại, chúng ta xác định điều gì đã sai và xây dựng những chiến lược mới để khắc phục những vấn đề đó mà không gây ra những vấn đề mới. Chu trình liên tục kiểm tra và cải thiện này giúp chúng ta tinh chỉnh quy trình tranh biện để đảm bảo nó tạo ra kết quả tốt nhất một cách đáng tin cậy. (Bowman, 2024 (mở trong tab mới))

Luận cứ An toàn cho Tranh biện là gì? An toàn AI thông qua tranh biện có một vài mục tiêu mà nó hy vọng đạt được:

Tranh biện giúp khám phá tri thức tiềm ẩn. Quy trình huấn luyện dựa trên tranh biện này cũng giúp khai lộ tri thức ẩn giấu hay "tiềm ẩn" từ các mô hình AI. Tri thức tiềm ẩn là thông tin mà AI đã học được nhưng có thể không thể hiện ra trừ khi được gợi ý đúng cách. Trong quá trình tranh biện, các mô hình AI bị thúc ép phải đào sâu hơn vào tri thức của chúng để đưa ra những lập luận và phản bác thuyết phục, điều này giúp làm lộ ra thông tin ẩn giấu này. Bằng cách tinh chỉnh các lập luận và phản lập luận của mình, các mô hình trở nên giỏi hơn trong việc giải thích và biện minh cho câu trả lời của mình, dẫn đến hành vi AI đáng tin cậy hơn.

Tranh biện có thể khơi gợi sự thật một cách vững chắc trong những lĩnh vực mới. Hãy hình dung bạn có hai mô hình được yêu cầu tranh biện về một chủ đề phức tạp. Bạn, với vai trò giám khảo là con người, lắng nghe các lập luận của chúng để quyết định mô hình nào trình bày lý lẽ thuyết phục nhất. Mô hình trung thực thấy dễ dàng hơn trong việc duy trì một câu chuyện nhất quán, trong khi mô hình không trung thực gặp khó khăn với các chi tiết trong thông tin bịa đặt của nó. Theo thời gian, nhờ luyện tập và huấn luyện có mục tiêu, cả hai mô hình đều cải thiện, trở nên thuyết phục hơn và suy luận tốt hơn. Tuy nhiên, điều quan trọng là mô hình trung thực luôn thể hiện tốt hơn một cách nhất quán. Đây là kỳ vọng chung đối với các thiết lập tranh biện.

Về mặt lý thuyết, chúng ta sẽ có thể tạo ra một hệ thống mà trong đó giám khảo là con người có thể phân biệt các lập luận đúng và sai một cách khái quát hóa được với độ tin cậy tốt, và các LLM tạo ra những lập luận tốt để con người đánh giá. Lập luận theo lý thuyết trò chơi cho rằng chúng ta có thể đạt đến một trạng thái cân bằng nào đó, nơi giám khảo là con người có thể bị thuyết phục bởi nhiều tuyên bố đúng mới lạ, nhưng sẽ không bị thuyết phục một cách đáng tin cậy bởi bất kỳ tuyên bố sai nào. Nếu chúng ta tổng hợp các phán quyết trên một nhóm người tham gia đủ lớn, chẳng hạn bằng cách yêu cầu mỗi thành viên trong nhóm bỏ phiếu về việc một lập luận có đúng hay không, chúng ta có thể đưa số lượng tuyên bố sai mà chúng ta chấp nhận xuống gần bằng không. (Bowman, 2024 (mở trong tab mới))

Tranh biện có thể giúp trả lời hiệu quả những câu hỏi có/không cụ thể, quan trọng, đặc biệt trong các bối cảnh nghiên cứu nơi thông tin đáng tin cậy từ các hệ thống AI là yếu tố then chốt. Nó cũng có thể đẩy nhanh một số loại nghiên cứu an toàn nhất định. Chẳng hạn, một cuộc tranh biện có thể làm rõ liệu một giả thuyết về khả năng diễn giải (interpretability) có đúng hay không, hoặc liệu nhật ký của một trung tâm dữ liệu nào đó có loại trừ khả năng đã diễn ra một lượt huấn luyện mạng nơ-ron quy mô lớn không được phép hay không. Cách tiếp cận này có thể giúp đảm bảo rằng thông tin do AI cung cấp là đáng tin cậy, đồng thời nâng cao khả năng giám sát và tận dụng các hệ thống AI tiên tiến của chúng ta. (Bowman, 2024 (mở trong tab mới))

Tranh biện giảm bớt gánh nặng giám sát đối với các mô hình có năng lực cao. Định dạng tranh biện giúp quy trình giám sát trở nên dễ quản lý hơn. Giám khảo không cần phải đào sâu vào từng chi tiết; thay vào đó, họ tập trung vào những điểm mấu chốt mà các AI trình bày, điều này đơn giản hóa việc giám sát những tác vụ phức tạp. Cuộc tranh biện buộc mô hình phải biện minh cho đầu ra và lập luận của mình một cách rõ ràng, thấu đáo, giúp con người dễ dàng hiểu và tin tưởng kết quả hơn. Quá trình này làm lộ ra thông tin trung thực, hữu ích và cho phép chúng ta tin tưởng vào năng lực của AI ngay cả trong những lĩnh vực mà con người có thể thiếu chuyên môn chi tiết. Điều này khá tương đồng với lập luận "xác minh dễ hơn tạo sinh", trong đó gánh nặng tạo ra những lập luận phức tạp ủng hộ sự thật được giao cho các AI có năng lực cao, trong khi những người giám sát là con người chỉ phải đảm nhận nhiệm vụ xác minh tương đối dễ dàng hơn.

Tranh biện giúp cải thiện nhận thức luận của con người. Tranh biện không chỉ nhằm giúp các hệ thống AI an toàn hơn bằng cách tìm ra câu trả lời đúng: nó còn giúp con người có được những hiểu biết mới và hiểu rõ hơn về lĩnh vực vấn đề. Ví dụ, khi đọc bản ghi tranh biện về phương pháp điều trị ung thư mới đã thảo luận ở trên, giám khảo là con người sẽ học được cách thức hoạt động của loại thuốc đó, những tác dụng phụ nào có thể xảy ra, liệu nó có khả năng vượt qua thử nghiệm lâm sàng hay không, v.v. Sự hiểu biết sâu sắc hơn này giúp đưa ra những quyết định sáng suốt hơn.

Sử dụng tranh biện như một quy trình huấn luyện tự chơi có thể khơi gợi thêm năng lực. Khi tận dụng tranh biện như một giao thức huấn luyện, ta có thể huấn luyện các bên tranh biện thông qua tự chơi (self-play), sử dụng phán quyết được đưa ra như một tín hiệu phần thưởng, mặc dù điều này chưa được xác minh bằng thực nghiệm. Để huấn luyện AI cho những tác vụ phức tạp, khó đánh giá, một phương pháp dựa trên tranh biện có thể được dùng để tạo ra những tín hiệu huấn luyện tốt hơn. Đây là cách nó có thể hoạt động:

Hai hoặc nhiều mô hình (các bên tranh biện) được thiết lập để tranh luận cho các phía khác nhau của một vấn đề. Một giám khảo là con người (hoặc một mô hình khác được huấn luyện để bắt chước phán quyết của con người) đánh giá các lập luận này và quyết định lập luận nào thuyết phục hơn. Bên tranh biện chiến thắng nhận được phần thưởng dương, trong khi bên thua nhận phần thưởng âm hoặc bằng không. Ngoài ra, những phần thưởng nhỏ hơn có thể được trao trong quá trình tranh biện khi một bên chỉ ra thành công những sai sót hoặc đưa ra những phản bác mạnh mẽ. Chúng ta sử dụng những tín hiệu phần thưởng này để học hỏi và cải thiện qua nhiều cuộc tranh biện, giúp các mô hình xác định những chiến lược suy luận, giải thích và lập luận thành công. Các mô hình cũng có thể học bằng cách bắt chước những bên tranh biện thành công thông qua khuếch đại (amplification) và chưng cất (distillation).

Phương pháp này tương đồng với quá trình huấn luyện của AlphaZero ở một vài điểm mấu chốt. Trong cả hai trường hợp, mô hình liên tục cải thiện bằng cách chơi cả hai phía của một trò chơi, tinh chỉnh chiến lược của mình thông qua tự cạnh tranh lặp đi lặp lại và học tăng cường. Cũng giống như AlphaZero khởi tạo một mạng nơ-ron để chơi cả hai phía của một trò chơi như cờ vây hay cờ vua, chúng ta bắt đầu bằng cách khởi tạo cùng một LLM để đảm nhận vai trò của cả hai bên tranh biện. AlphaZero chơi các ván đấu với chính nó, bắt đầu bằng những nước đi ngẫu nhiên và dần cải thiện khi học hỏi từ kết quả của những ván tự chơi này. Tương tự, trong tranh biện, LLM luân phiên tạo ra các lập luận và phản lập luận cho cả hai phía của một vấn đề cho trước, học hỏi từ quá trình đó mỗi lần. Ở AlphaZero, tự chơi dẫn đến lối chơi tốt hơn, đủ giỏi để đánh bại phiên bản tiền nhiệm AlphaGo mà không cần được cung cấp bất kỳ tri thức chuyên biệt nào về lĩnh vực đó. Trong tranh biện, việc huấn luyện bằng tự chơi có thể dẫn đến khả năng suy luận sâu sắc hơn, vì mô hình phải liên tục tinh chỉnh các lập luận và phản lập luận của mình. Điều này cuối cùng dẫn đến một sự hiểu biết tinh tế về các vấn đề đang được xem xét.

Những cải thiện về an toàn từ việc tự chơi thông qua tranh biện vẫn cần được xác minh bằng thực nghiệm. Khả năng thuyết phục cao hơn cũng có thể tạo điều kiện cho xu nịnh (sycophancy), hoặc sự thông đồng giữa các bản sao khác nhau của mô hình. Nếu các bên tranh biện có động lực để hợp tác với nhau, chúng có thể làm vậy bằng cái giá của một cuộc tranh biện trung thực và nghiêm ngặt. Chẳng hạn, nếu cả hai AI đều có lợi khi cuộc tranh biện kết thúc mà không đi đến kết luận, chúng có thể cố tình tránh thách thức lập luận của nhau một cách quá gay gắt.

Tranh biện phù hợp với chiến lược An toàn AI rộng lớn hơn như thế nào? Mục tiêu cuối cùng là phát triển một cấu trúc tranh biện hoạt động hiệu quả ngay cả với những câu hỏi thách thức nhất và những chiến lược không trung thực tinh vi nhất. Ngay cả khi chúng ta phát hiện ra rằng tranh biện không hiệu quả với một số câu hỏi nhất định, nó vẫn có thể cung cấp những hiểu biết giá trị về giới hạn của khả năng phán đoán của con người trong việc đánh giá hành vi AI. Điều này hỗ trợ những nỗ lực nhằm hiểu khi nào và làm thế nào để tin tưởng vào các hệ thống AI.

Tranh biện được kỳ vọng sẽ hữu ích nhất khi các AI trở nên có năng lực hơn nhưng chưa vượt trội con người quá xa. Khi năng lực AI được cải thiện, chúng ta sẽ cần những phương pháp ngày càng vững chắc hơn để đảm bảo chúng vẫn đáng tin cậy và hiệu quả. Tranh biện là một bước quan trọng theo hướng đó và đóng vai trò nền tảng cho những cơ chế giám sát tiên tiến hơn.

Khi năng lực của các mô hình AI bắt đầu vượt qua năng lực của con người, nguy cơ mưu tính (scheming), thuyết phục, và thao túng gradient (gradient hacking) sẽ trở nên rõ rệt hơn. Do đó, sẽ cần đến những kỹ thuật vững chắc hơn để giải quyết những thách thức này, khiến tranh biện đơn thuần trở nên kém hứa hẹn hơn. Độ phức tạp và khó khăn của những câu hỏi đòi hỏi năng lực AI siêu việt vượt xa con người có thể khiến vai trò của giám khảo là con người trở nên quá chậm chạp và quá sức. (Bowman, 2024 (mở trong tab mới))

Tranh biện không cần phải hoàn hảo để giúp phát hiện những thảm họa tiềm tàng. Cấu trúc tranh biện nên thúc đẩy những kết luận chính xác, đặc biệt trong việc nhận diện và tránh các rủi ro thảm khốc. Ý tưởng cốt lõi là ngay cả khi các bên tranh biện không hoàn toàn căn chỉnh theo hướng tìm kiếm sự thật và lập luận của chúng không hoàn hảo, bản chất có cấu trúc của tranh biện vẫn có thể tạo ra những kết luận đủ chính xác để phát hiện và giảm thiểu những rủi ro có mức độ nghiêm trọng cao. Điều này có nghĩa là, ngay cả khi tranh biện không phải lúc nào cũng phơi bày sự thật tuyệt đối, miễn là nó giúp làm tăng khả năng làm nổi bật những mối lo ngại trung thực và chính xác nhiều hơn là không, nó vẫn hữu ích. Điều này có thể giúp làm lộ ra những rủi ro thảm khốc tiềm tàng có thể đã bị đánh giá thấp hoặc bị bỏ sót.

Các Giả định

Một số điều kiện tiên quyết cho tranh biện là gì? Dưới đây là một số tiền đề mà nhánh kỹ thuật an toàn dựa trên tranh biện cần có để đóng góp đáng kể vào nỗ lực căn chỉnh nói chung. Không phải tất cả đều là giả định hay điều kiện tiên quyết bắt buộc để tranh biện có hiệu lực. Tính đúng đắn của những điều này vẫn đang được nghiên cứu khám phá và cũng sẽ được bàn đến trong các phần sau:

Giả định về nhãn chân lý (ground truth). Phần lớn nghiên cứu về tranh biện như một phương pháp luận an toàn AI và về chất lượng giám khảo đều dựa trên việc thử nghiệm trong những lĩnh vực có thể xác minh được, nơi chúng ta thường có sẵn các nhãn chân lý. Điều này chủ yếu nhằm đảm bảo hiệu quả của các giao thức tranh biện, cho phép đo lường thành công một cách khách quan, và xây dựng sự tin tưởng vào quy trình tranh biện trước khi giải quyết những câu hỏi mờ, phức tạp hơn và mang tính giá trị.

Giám khảo có thể nhận biết sự thật. Giả định đầu tiên là giám khảo là con người, khi được trình bày những lập luận rõ ràng và có cấu trúc, nhìn chung có thể nhận diện được thông tin trung thực và hữu ích nhất. Giả định ở đây là giám khảo phải có khả năng nhận ra bên nào có lập luận mạnh hơn, ngay cả khi họ không phải là chuyên gia về chủ đề đó. Điều này dựa trên ý tưởng rằng con người có động lực tốt và được huấn luyện bài bản có thể đưa ra những phán quyết công bằng về các lập luận phức tạp. Họ không cần phải chắc chắn về từng lập luận riêng lẻ trong chuỗi lập luận, nhưng nên có khả năng phán đoán chính xác tính đúng/sai của tuyên bố tổng thể dựa trên nhiều lập luận hỗ trợ. Quan trọng là, họ cũng nên nhận ra khi nào mình không chắc chắn, tránh những sai lầm với độ tin cậy cao. Kỹ năng này nên mở rộng sang cả những chủ đề xa lạ sau khi họ đã luyện tập với những chủ đề quen thuộc hơn.

LLM suy luận tốt bằng văn bản. Một giả định khác là các LLM có thể đưa ra những lập luận và giải thích mạnh mẽ cho câu trả lời của chúng bằng ngôn ngữ tự nhiên, trong nhiều lĩnh vực then chốt. Nếu chúng ta đưa ra câu lệnh (prompt) theo cách phù hợp, chúng có thể trình bày rõ quá trình suy luận của mình theo cách giúp những người đọc bản ghi tranh biện một cách cẩn thận có thể xác định câu trả lời có đúng hay không. Điều này không có nghĩa là lời giải thích phản ánh hoàn hảo quá trình suy nghĩ nội tại của mô hình (chúng ta vẫn cần khả năng diễn giải (interpretability) cho việc này), nhưng nó cần đủ rõ ràng để con người có thể phán đoán tính hợp lệ của câu trả lời. Các LLM hiện nay, như GPT-4, đã cho thấy năng lực này ở một mức độ nào đó, và chúng ta có thể giả định nó sẽ tiếp tục cải thiện theo thời gian.

Các chiến lược trung thực có lợi thế nền tảng. Một giả định khác là các bên tranh biện trung thực sẽ luôn vượt trội hơn các bên không trung thực một cách có hệ thống. Nghiên cứu về An toàn AI thông qua tranh biện giả định rằng nói dối khó hơn bác bỏ một lời nói dối—nghĩa là, những chiến lược thành công nhất cho tranh biện biện chứng sẽ dẫn dắt giám khảo đưa ra những quyết định tốt, dựa trên đầy đủ thông tin, thay vì, chẳng hạn, đánh lừa họ, khiến họ bối rối, hoặc kéo dài cuộc tranh biện vô thời hạn. Về bản chất, trong giới hạn của năng lực lập luận, chiến lược tranh biện tối ưu sẽ hội tụ về việc đưa ra những lập luận hợp lệ cho những kết luận đúng. Về nguyên tắc, việc nhận diện sai sót trong những lập luận sai phải dễ dàng hơn việc tạo ra những lập luận gây hiểu lầm nhưng vẫn thuyết phục. Điều này ngụ ý rằng những lập luận trung thực sẽ có lợi thế cố hữu, vì bất kỳ sự không trung thực hay sai sót nào cũng có thể bị thách thức một cách hiệu quả. Nói sự thật cũng có thể làm giảm tải nhận thức (cognitive load). Sự đơn giản này cho phép bên trung thực tập trung vào việc xây dựng những lập luận mạnh mẽ và phát hiện sai sót trong lập luận của đối phương. Chúng ta sẽ bàn về giả định này trong phần tiếp theo về sự thật.

Tranh biện không tạo động lực cho sự lừa dối. Ý tưởng cốt lõi là nói sự thật phải là chiến lược chiến thắng. Nếu AI bị phát hiện nói dối, nó sẽ thua cuộc tranh biện, từ đó tự động tạo động lực để nó nói sự thật. Các cuộc tranh biện không cần phải bao quát mọi lập luận khả dĩ. Một bên tranh biện AI giỏi nên có khả năng dự đoán những lập luận nào có khả năng dẫn đến điều kiện chiến thắng.

Khoảng cách Phân biệt–Phê bình (DCG)

Điều gì khiến một mô hình AI trở thành bậc thầy tranh biện? Để tham gia tranh biện một cách hiệu quả, một mô hình AI phải xuất sắc ở ba hành động then chốt: tạo sinh (generation), phân biệt (discrimination), và phê bình (critique). Những năng lực này thiết yếu để tạo ra những lập luận chất lượng cao và nhận diện, trình bày rõ những sai sót trong các lập luận khác một cách hiệu quả.

Tạo sinh (Generation): Đây là khả năng của LLM trong việc tạo ra đầu ra dựa trên đầu vào cho trước. Hãy hình dung một tình huống tranh biện trong đó mô hình được yêu cầu tạo ra các lập luận hoặc giải pháp về một chủ đề cụ thể. Chẳng hạn, AI có thể cần lập luận ủng hộ hoặc phản đối một câu hỏi cụ thể. Điều này đòi hỏi mô hình phải tạo ra thông tin và trình bày nó một cách mạch lạc. Có khả năng tạo sinh tốt nghĩa là AI có thể đóng góp nội dung có ý nghĩa và liên quan trong các cuộc tranh biện.

Trong phần trước về phân rã tác vụ và khuếch đại lặp lại, chúng ta đã bàn về công trình của OpenAI trong việc tóm tắt sách. Trong khi công trình đó tập trung chủ yếu vào việc tạo ra những bản tóm tắt tốt hơn cho các văn bản ngắn, khả năng của một AI trong việc tạo ra những bản tóm tắt chất lượng cao, mạch lạc cho các văn bản dài, phức tạp có thể được xem là tương tự như việc tạo ra những lập luận mạnh mẽ, logic cho các lập trường phức tạp trong một cuộc tranh biện. Bằng cách sử dụng RLHF (hoặc các kỹ thuật tương tự) trên văn bản được tạo sinh, chúng ta có thể tiếp tục cải thiện chất lượng suy luận và lập luận mà các LLM sử dụng trong tranh biện. Điều này có nghĩa là AI có thể phát triển để cung cấp những lập luận ngày càng tinh vi và thuyết phục hơn theo thời gian, nâng cao chất lượng của các cuộc tranh biện.

Phân biệt (Discrimination): Đây là khả năng của mô hình trong việc đánh giá chất lượng đầu ra/lập luận do chính nó tạo ra (hoặc do một mô hình có năng lực tương đương tạo ra). Hãy hình dung một mô hình tạo ra một lập luận trong một cuộc tranh biện. Phân biệt là khả năng của AI trong việc xem xét lập luận này và đánh giá xem nó có hợp lý về mặt logic, chính xác về mặt thực tế, và đầy đủ hay không. Điều này giống như việc AI tự hỏi chính mình: "Lập luận này có hợp lệ không? Kết luận của nó có được suy ra một cách logic từ các tiền đề của nó không?"

Phê bình (Critiquing): Phê bình đi xa hơn một bước so với phân biệt. Phân biệt là việc đánh giá chất lượng, còn phê bình là việc giải thích tại sao chất lượng đó tốt hay xấu. Nó đưa ra phản hồi có thể hành động được bằng cách chỉ ra những sai sót hoặc điểm mạnh cụ thể. Sử dụng cùng một lập luận do AI tạo ra trong một cuộc tranh biện, việc phê bình sẽ liên quan đến việc AI nhận diện những vấn đề cụ thể trong lập luận đó. Điều này giống như việc LLM nói: "Đây là những lý do chính xác tại sao lập luận này có sai sót và làm thế nào để cải thiện nó."

Nghiên cứu chính về khả năng phê bình của LLM đến từ OpenAI, như một sự tiếp nối công trình của họ về tóm tắt văn bản. Vào năm 2022, OpenAI đã thử nghiệm việc để các LLM phê bình những bản tóm tắt do các mô hình khác tạo ra. Theo ngôn ngữ tranh biện, điều này có nghĩa là AI không chỉ có thể tạo ra lập luận (những bản tóm tắt tốt trong nghiên cứu đó) mà còn có thể đưa ra những bài phê bình chi tiết về lập luận của chính nó và của những mô hình khác (phê bình các bản tóm tắt được tạo ra). Khi những người đánh giá là con người sử dụng các bài phê bình do AI tạo ra này, họ phát hiện thêm khoảng 50% sai sót trong các bản tóm tắt so với những người đánh giá không có sự hỗ trợ của AI (Saunders et al., 2022 (mở trong tab mới)). Điều này giảm bớt gánh nặng cho những người đánh giá là con người và nâng cao chất lượng của các bản tóm tắt bằng cách làm nổi bật những lỗi tiềm ẩn để con người chú ý nhiều hơn. Nhìn chung, những người đánh giá có quyền truy cập vào các bài phê bình của AI có thể nhận diện được nhiều sai sót hơn.

Gần đây các nhà nghiên cứu cũng thử nghiệm năng lực của LLM trên một tác vụ trừu tượng hơn - họ đo lường mức độ LLM có thể tạo sinh, phân biệt và phê bình các văn bản phù hợp với những giá trị con người được chỉ định cụ thể. Tạo sinh được đánh giá dựa trên mức độ LLM có thể tạo ra những phản hồi phù hợp với giá trị con người trong nhiều tình huống khác nhau. Phân biệt được đo lường dựa trên khả năng của các mô hình trong việc nhận diện và đánh giá sự hiện diện của những giá trị con người tinh tế cụ thể trong các văn bản có sẵn. Năng lực phê bình được đo lường bằng cách yêu cầu các mô hình giải thích tại sao một câu phù hợp với một giá trị cho trước (Phân tích Quy kết – Attribution Analysis), chỉnh sửa văn bản để thể hiện một giá trị đối lập (Phân tích Phản thực – Counterfactual Analysis), và đưa ra những lập luận phản bác đối với các góc nhìn giá trị khác nhau (Lập luận Phản bác – Rebuttal Arguments). (Zhang et al., 2023 (mở trong tab mới))

Để trở thành một bên tranh biện hiệu quả, một mô hình AI cần thực hiện tốt cả ba năng lực: tạo ra những lập luận vững chắc, phân biệt giữa đầu ra chất lượng cao và thấp, và đưa ra những bài phê bình sâu sắc. Tuy nhiên, mặc dù mọi mô hình đều có những năng lực này, nghiên cứu đã phát hiện ra rằng chúng không được phân bổ đồng đều. Có những khoảng cách tồn tại, gợi ý những lĩnh vực cần cải thiện thêm để tạo ra những bên tranh biện AI cân bằng và hiệu quả hơn. (Saunders et al., 2022 (mở trong tab mới); Zhang et al., 2023 (mở trong tab mới))

Khoảng cách GD (Tạo sinh–Phân biệt/Generator-Discriminator): Khả năng Nhận diện Đầu ra Kém Chất lượng. Khoảng cách này đo lường sự khác biệt giữa khả năng tạo sinh đầu ra của một mô hình và khả năng nhận diện những đầu ra kém chất lượng của nó. Nếu một mô hình tạo ra một đoạn văn bản đóng vai trò như một lập luận, Khoảng cách GD sẽ đo lường mức độ hiệu quả mà mô hình sau đó có thể đánh giá xem lập luận đó có hợp lý về mặt logic và chính xác hay không. Một Khoảng cách GD đáng kể cho thấy rằng mặc dù AI có thể tạo ra lập luận, nó có thể không thành thạo bằng trong việc nhận diện những sai sót hay chất lượng kém của chúng. Việc huấn luyện LLM tập trung vào việc tạo ra văn bản nghe có vẻ hợp lý hơn là nhận diện những lập luận kém chất lượng, điều này có nghĩa là khoảng cách này có thể tồn tại vì việc tạo ra các chuỗi văn bản mạch lạc đòi hỏi những kỹ năng khác so với việc suy luận, hay nhận diện chất lượng tổng thể của một lập luận được viết bằng ngôn ngữ tự nhiên.

Khoảng cách DC (Phân biệt–Phê bình/Discrimination-Critique): Khả năng Trình bày rõ Sai sót trong Những Câu trả lời Kém. Khoảng cách này đo lường sự khác biệt giữa khả năng nhận diện đầu ra kém chất lượng của một mô hình (phân biệt) và khả năng trình bày rõ tại sao những đầu ra đó lại kém (phê bình). Đây là khả năng của mô hình không chỉ nhận diện sai sót mà còn giải thích chúng một cách mạch lạc. Một Khoảng cách DC đáng kể có nghĩa là AI có thể nhận diện lỗi, nhưng gặp khó khăn trong việc đưa ra một lời giải thích rõ ràng, chi tiết về những lỗi đó. Nếu có một Khoảng cách DC đáng kể, thì LLM có thể sẽ không giải thích được tại sao một lập luận cho trước lại yếu, điều này có nghĩa là giám khảo là con người có thể sẽ không hiểu đầy đủ về những vấn đề đó, dẫn đến những quyết định thiếu thông tin hơn.

Ý nghĩa đối với An toàn AI thông qua Tranh biện. Trong khuôn khổ tranh biện, việc thu hẹp tất cả những khoảng cách này là yếu tố then chốt để đảm bảo các hệ thống AI có thể đánh giá và cải thiện đầu ra của chúng một cách đáng tin cậy. Thu hẹp Khoảng cách GD đảm bảo mô hình có thể nhận diện những đầu ra kém chất lượng, từ đó tạo ra những cuộc tranh biện chất lượng cao hơn và những phán quyết cuối cùng tốt hơn. Thu hẹp Khoảng cách DC đảm bảo các bài phê bình rõ ràng và dễ hiểu, hỗ trợ giám khảo là con người đưa ra những quyết định dựa trên đầy đủ thông tin.

Khoảng cách DC và Tri thức Tiềm ẩn. Một Khoảng cách DC lớn có nghĩa là các mô hình biết rằng có những sai sót trong điều chúng đang nói, nhưng chúng không thể hoặc không sẵn lòng cho chúng ta biết điều đó dựa trên những phương pháp luận tạo câu lệnh (prompting) hiện tại của chúng ta. Điều này có ý nghĩa đối với khả năng của chúng ta trong việc khiến các mô hình cho chúng ta biết mọi điều chúng biết (khơi gợi tri thức tiềm ẩn). Tri thức tiềm ẩn là thông tin và sự hiểu biết nền tảng mà một mô hình sở hữu nhưng có thể không trình bày rõ ràng hay thể hiện ra trừ khi được gợi ý theo một cách cụ thể. Tri thức này "ẩn giấu" theo nghĩa là mô hình đã hấp thụ những khuôn mẫu, sự kiện, và mối quan hệ từ dữ liệu huấn luyện của nó, nhưng cần có đúng bối cảnh hoặc câu hỏi để đưa chúng ra bề mặt. Một ví dụ điển hình cho điều này là thông tin y tế.

Ví dụ, GPT-4 đã được tiếp xúc với một lượng thông tin khổng lồ từ khắp nơi trên internet. Điều này bao gồm vô số trang nghiên cứu y khoa. Có vẻ hợp lý khi cho rằng GPT-4 có thể đưa ra lời khuyên sức khỏe tốt hơn một người dùng internet ngẫu nhiên trên Reddit hay Facebook. Nhưng nó dường như không thực sự "muốn" đưa cho bạn lời khuyên y tế tốt. Thay vào đó, nó "muốn" đoán từ tiếp theo trong khi giả vờ là một người dùng internet ngẫu nhiên. Ngay cả khi GPT-4 có tri thức đó, nó có thể không đáp ứng yêu cầu của người dùng về một lời khuyên tốt. Văn bản cấu thành lời khuyên tồi có thể được xem là có khả năng xảy ra cao hơn, hoặc xuất hiện thường xuyên hơn trên mạng. Vì vậy, AI có mục tiêu tạo ra văn bản có khả năng xảy ra cao, điều này không căn chỉnh với mong muốn của người dùng về thông tin chính xác và hữu ích một cách cụ thể.

Chúng ta muốn AI cho chúng ta biết tri thức tiềm ẩn này, tức là để nó có thể phân biệt giữa lời khuyên y tế tốt và xấu. Đồng thời chúng ta cũng muốn thu hẹp khoảng cách giữa việc có khả năng phân biệt lời khuyên tốt với xấu, và khả năng giải thích cho chúng ta "tại sao" lời khuyên đó lại xấu. Việc thu hẹp Khoảng cách DC đặc biệt quan trọng đối với việc giám sát những mô hình có thể cố gắng đánh lừa người giám sát là con người hoặc giấu thông tin. Chúng ta muốn huấn luyện những mô hình trợ lý có năng lực tương đương để chỉ ra những gì con người không nhận thấy. (Saunders et al., 2022 (mở trong tab mới))

Trong nghiên cứu gốc của OpenAI, nơi khung khái niệm DCG được giới thiệu lần đầu, họ phát hiện rằng Khoảng cách DC là nhỏ. Tuy nhiên, dù khoảng cách này nhỏ, điều đáng lo ngại là cho đến nay nghiên cứu đã cho thấy khi số lượng tham số trong các LLM tăng lên, Khoảng cách DC không hề thu hẹp lại. (Saunders et al., 2022 (mở trong tab mới)) Ví dụ, các mô hình như Llama-2 và Llama-3 đã cho thấy sự cải thiện về năng lực phân biệt khi tăng quy mô (cả về tham số lẫn dữ liệu), nhưng năng lực phê bình của chúng lại không cải thiện với tốc độ tương tự. (Zhang et al., 2023 (mở trong tab mới))

Giám khảo

Làm thế nào để chúng ta đánh giá các giám khảo? Kể từ khi An toàn AI thông qua Tranh biện ra đời, một câu hỏi trọng tâm luôn là: con người thể hiện tốt đến đâu trong vai trò giám khảo? Điều này đặc biệt quan trọng vì các LLM có thể tạo ra những câu trả lời nghe có vẻ đúng một cách thuyết phục ngay cả khi chúng sai. Khi các mô hình ngôn ngữ trở nên có năng lực hơn và được sử dụng trong những bối cảnh phức tạp hơn, rất có thể những sai sót tinh vi, những lập luận lừa dối, hay việc sử dụng bằng chứng một cách có chọn lọc sẽ trở nên khó phát hiện hơn. (Michael et al., 2023 (mở trong tab mới))

Giám khảo là con người phải đối mặt với một số hạn chế có thể ảnh hưởng đến chất lượng và độ tin cậy của các phán quyết của họ trong các cuộc tranh biện AI:

1. Thứ nhất, họ dễ bị ảnh hưởng bởi các ngụy biện. Những giám khảo chưa qua huấn luyện có thể dễ bị thuyết phục bởi những lập luận nghe có vẻ hợp lý nhưng thực chất là ngụy biện, có khả năng dẫn đến những phán quyết sai lầm. Điểm yếu này có thể bị các bên tranh biện AI khai thác, đặc biệt là những AI được tối ưu hóa để thắng cuộc tranh biện bằng mọi cách, nhất là bằng cách đánh vào cảm xúc.
2. Thứ hai, có sự biến thiên về chất lượng phán quyết. Không phải mọi giám khảo là con người đều có kỹ năng ngang nhau. Một số người có thể thiếu khả năng đánh giá lập luận một cách hiệu quả và nhất quán, khiến việc nhận diện và loại bỏ những giám khảo kém năng lực hơn mà không tạo ra thiên kiến trở nên quan trọng.
3. Thứ ba, tranh biện có thể khuếch đại cả điểm mạnh lẫn điểm yếu của giám khảo. Những giám khảo giỏi có thể giúp loại bỏ thiên kiến và nâng cao chất lượng suy luận, trong khi những giám khảo kém có thể thấy thiên kiến và sai sót của mình bị phóng đại.

Để giải quyết những hạn chế này, một số chiến lược có thể được triển khai. Các chương trình huấn luyện toàn diện dành cho giám khảo có thể nâng cao khả năng nhận biết những lập luận trung thực của họ. Những phương pháp như bình duyệt ngang hàng (peer review), các kỹ thuật giảm thiểu thiên kiến, các khóa học về logic, và các hội đồng chuyên gia có thể đóng vai trò quan trọng trong quá trình này. Đơn giản hóa cấu trúc tranh biện cũng có thể hữu ích. Cấu trúc các cuộc tranh biện theo cách dễ phân xử hơn—chẳng hạn như tập trung vào cách trình bày hướng đến xây dựng đồng thuận và những phát biểu mang tính sự kiện—có thể giúp giám khảo đưa ra quyết định tốt hơn. Việc hiểu phong cách tranh biện nào dễ để con người phân xử chính xác hơn có thể định hướng cho việc thiết kế những giao thức tranh biện hiệu quả hơn. Ngoài ra, việc phát triển các hệ thống AI để hỗ trợ hoặc mô phỏng giám khảo là con người có thể tinh gọn quy trình phân xử. Những giám khảo AI này sẽ được huấn luyện dựa trên các phán quyết của con người để dự đoán kết quả, với tác dụng giảm bớt gánh nặng cho giám khảo là con người trong khi vẫn duy trì độ chính xác.

Một phương pháp khác để cải thiện hiệu quả là chưng cất kết quả của các cuộc tranh biện vào một mô hình có thể dự đoán phán quyết trực tiếp từ câu hỏi. Điều này sẽ có lợi cho việc triển khai ở quy mô lớn nhưng đòi hỏi năng lực mô hình đủ vững chắc để khái quát hóa tốt. Cuối cùng, việc huấn luyện một mô hình AI thứ cấp để mô phỏng giám khảo là con người có thể đẩy nhanh quá trình huấn luyện các bên tranh biện. Cách tiếp cận này đảm bảo rằng giám khảo AI phản ánh sát hành vi phán quyết của con người, cho phép giám sát mở rộng quy mô. Bằng cách triển khai những chiến lược này, chúng ta có thể cải thiện độ tin cậy và hiệu quả của giám khảo là con người trong các cuộc tranh biện AI.

Kỹ năng của giám khảo là yếu tố then chốt trong bối cảnh đánh giá các cuộc tranh biện giữa các mô hình chuyên gia, vì nó ảnh hưởng trực tiếp đến độ chính xác và độ tin cậy của quyết định cuối cùng. Những giám khảo không có quyền truy cập vào thông tin nền tảng phải dựa vào khả năng đánh giá phản biện các lập luận do các bên tranh biện trình bày. Một giám khảo có kỹ năng tốt có thể nhận diện sai sót logic, cân nhắc bằng chứng, và nhận ra các kỹ thuật gây thuyết phục tốt hơn, dẫn đến những phán quyết chính xác hơn. Ngược lại, một giám khảo kém kỹ năng hơn có thể dễ bị lung lay bởi những lập luận hời hợt hoặc các thủ thuật tu từ, có khả năng dẫn đến những kết luận sai lầm. Do đó, việc hiểu rõ và kiểm soát yếu tố kỹ năng của giám khảo là thiết yếu để đảm bảo giao thức tranh biện thực sự hiệu quả và đáng tin cậy.

Trong phần này, chúng ta sẽ xem xét các kết quả thực nghiệm liên quan đến hiệu quả của giám khảo trong giao thức tranh biện, cũng như những hạn chế, thách thức, và yêu cầu tổng thể đối với một giám khảo tốt.

Bên Tranh biện là Chuyên gia và Giám khảo là Người không Chuyên (Tranh biện Từ Yếu đến Mạnh). Thay vì chỉ xem con người là giám khảo, các nhà nghiên cứu cũng kiểm chứng hiệu quả của việc dùng LLM làm giám khảo. Nhìn chung, các bên tranh biện (còn gọi là chuyên gia) được mô phỏng bằng những mô hình mạnh hơn, ví dụ GPT-4, còn giám khảo được mô phỏng bằng những mô hình kém năng lực hơn, ví dụ GPT-2. Để tạo ra sự bất đối xứng thông tin tương tự giữa giám khảo là con người và LLM, con người thường được cung cấp ít thông tin hơn so với mô hình. Ví dụ, một câu hỏi đọc hiểu về một đoạn văn hư cấu dài được trình bày cho giám khảo cùng với hai lựa chọn trả lời (một đúng, một sai). Mục tiêu của giám khảo là xác định câu trả lời đúng cho câu hỏi chỉ dựa trên các lập luận của những bên tranh biện và những trích đoạn giới hạn được từng bên tranh biện tiết lộ có chọn lọc, trong khi các bên tranh biện đã đọc và có quyền truy cập vào toàn bộ đoạn văn. Vì các đoạn văn hoàn toàn là hư cấu, giám khảo không thể suy ra câu trả lời đúng dựa trên tri thức có sẵn từ trước và phải dựa vào thông tin và lập luận từ các bên tranh biện.

Đánh giá Thực nghiệm về Giới hạn của Giám khảo Con người.

Các nhà nghiên cứu đã liên tục thử nghiệm với những khái niệm như số vòng tranh biện - các cuộc tranh biện nên kéo dài bao lâu? thời điểm đưa ra lập luận và cách trình bày lập luận - theo từng lượt hay đồng thời?, và cách nâng cao năng lực của giám khảo bằng AI.

Tranh biện Một Lượt. Trong thiết lập thực nghiệm này vào tháng 4 năm 2022, các nhà nghiên cứu lấy những đoạn văn dài từ bộ dữ liệu QuALITY. Những đoạn văn này đi kèm với các câu hỏi trắc nghiệm dựa trên chúng. Mỗi đoạn văn dài khoảng 5.000 từ và bao gồm 20 câu hỏi trắc nghiệm. Họ thuê các nhà văn chuyên nghiệp để tạo ra những lập luận thuyết phục cho cả câu trả lời đúng lẫn câu trả lời sai của các câu hỏi trắc nghiệm. Để kiểm tra giám khảo là con người, họ sử dụng định dạng "tranh biện một lượt", nghĩa là mỗi bên chỉ trình bày lập luận của mình một lần duy nhất mà không có sự trao đổi qua lại thêm. Giám khảo được cho 90 giây để đọc các lập luận và những đoạn trích văn bản hỗ trợ trước khi quyết định câu trả lời nào đúng. Ý tưởng là để xem liệu chỉ một vòng tranh biện duy nhất có thể giúp giám khảo đưa ra quyết định chính xác hơn hay không. Kết quả cho thấy những lời giải thích theo phong cách tranh biện một lượt không cải thiện đáng kể độ chính xác của giám khảo so với việc chỉ cung cấp các đoạn trích văn bản đơn thuần. Điều này cho thấy nếu không có cơ hội phản bác và làm rõ thêm, giám khảo không thể nắm bắt đầy đủ điểm mạnh và điểm yếu của mỗi lập luận. (Parrish et al., 2022 (mở trong tab mới))

Tranh biện Hai Lượt. Bước tiếp theo hiển nhiên là xem liệu tranh biện hai lượt có giúp ích hay không. Vì vậy vào tháng 10 năm 2022, các nhà nghiên cứu đã thử kiểm tra xem việc thêm một vòng phản bác thứ hai có cải thiện độ chính xác của giám khảo hay không. Trong định dạng tranh biện hai lượt này, giám khảo lại được trình bày các lập luận ban đầu cho cả câu trả lời đúng và sai, tiếp theo là những phản bác giải quyết các điểm đã nêu ở vòng đầu tiên. Mục tiêu là xem liệu sự qua lại bổ sung này có giúp giám khảo đưa ra những quyết định dựa trên đầy đủ thông tin hơn hay không. Mặc dù đã nỗ lực như vậy, đáng tiếc là kết quả cho thấy ngay cả khi có phản bác, giám khảo là con người cũng không thể hiện tốt hơn đáng kể. Độ chính xác vẫn tương tự như định dạng một lượt và mức cơ sở chỉ cung cấp các đoạn trích văn bản. (Parrish et al., 2022 (mở trong tab mới))

Tranh biện Đa Lượt với Độ dài Không giới hạn. Mặc dù chúng ta có thể yêu cầu các bên tranh biện đưa ra lập luận cho một lập trường được giao, các bên tranh biện không bị kỳ vọng phải bảo vệ những lập luận đó trước những chỉ trích đáng kể, vì các phản bác bị giới hạn bởi độ dài của các lượt. Bên tranh biện luôn có thể nói dối ở lượt thứ n trong một cuộc tranh biện n lượt mà không phải đối mặt với hậu quả của một phản bác. Nhìn chung, các lập luận có độ dài giới hạn không chứng tỏ được tính hữu ích, vì vậy các nhà nghiên cứu quyết định thử nghiệm các cuộc tranh biện với độ dài không giới hạn, trong đó các bên tranh biện được kỳ vọng phải bảo vệ lập trường của mình trước những chỉ trích của đối thủ cho đến khi nào giám khảo vẫn chưa bị thuyết phục về câu trả lời. Giả thuyết ở đây là vì cuộc tranh biện luôn có thể tiếp tục thêm một vòng nữa, áp lực luôn được duy trì để các bên tranh biện không nói dối. (Michael et al., 2023 (mở trong tab mới))

Tranh biện là khi hai AI cạnh tranh để thuyết phục một giám khảo; mô hình tư vấn (consultancy) là khi một AI duy nhất cố gắng thuyết phục một giám khảo có đặt câu hỏi; và hỏi-đáp trực tiếp là một mức cơ sở khác, trong đó giám khảo chỉ trả lời thẳng mà không cần AI. (Kenton et al., 2024 (mở trong tab mới))

Mô hình tư vấn như một mức cơ sở phi đối kháng. Cho đến nay, các nhà nghiên cứu đã sử dụng những thiết lập mang tính đối kháng. Về bản chất, hai bên tranh biện tranh luận cho hai phía đối lập của một câu hỏi. Một bên ủng hộ câu trả lời đúng, còn bên kia ủng hộ câu trả lời sai. Giám khảo lắng nghe cả hai phía và quyết định lập luận nào thuyết phục hơn. Để có một thước đo cho việc các thiết lập mang tính đối kháng thực sự giúp ích được bao nhiêu trong việc khơi gợi sự thật, các nhà nghiên cứu thiết lập một mức cơ sở không có đối kháng.

Một "mô hình tư vấn" (consultancy) là một tương tác phi đối kháng, trong đó giám khảo tương tác với một bên tranh biện (hay chuyên gia) duy nhất, được gọi là chuyên gia tư vấn (consultant). Thiết lập thực nghiệm tương tự như các cuộc tranh biện trước đó, trong đó giám khảo phải trả lời những câu hỏi đọc hiểu trắc nghiệm khó từ bộ dữ liệu QuALITY. Nhiệm vụ của chuyên gia tư vấn là đưa ra lập luận bảo vệ một trong hai câu trả lời khả dĩ cho một câu hỏi, bằng cách tiết lộ bằng chứng có chọn lọc. Điều này tương tự như tranh biện không giới hạn độ dài, trong đó chuyên gia tư vấn có thể tiếp tục tiết lộ/che giấu thông tin để ủng hộ câu trả lời được giao của mình cho đến khi giám khảo quyết định dừng lại.

Điểm mấu chốt là chuyên gia tư vấn có 50% khả năng lập luận cho câu trả lời sai. Giám khảo thấy được cả hai câu trả lời khả dĩ nhưng chỉ dựa hoàn toàn vào lập luận của chuyên gia tư vấn để đưa ra quyết định. Nhìn chung, thiết lập mô hình tư vấn nhằm đánh giá mức độ giám khảo có thể nhận diện sự thật chỉ dựa trên đầu vào của chuyên gia tư vấn, mà không có một chuyên gia đối lập để thách thức những tuyên bố gây hiểu lầm. Vì vậy, không giống như tranh biện thông thường, không có chuyên gia thứ hai để phản bác thông tin sai lệch hoặc gây hiểu lầm. (Michael et al., 2023 (mở trong tab mới))

Tại sao đôi khi chúng ta lại yêu cầu bên tranh biện lập luận cho những lựa chọn sai? Chúng ta đang cố gắng mô phỏng những tình huống mà chúng ta không thể tin tưởng mô hình mà mình đang huấn luyện để tranh biện. Chúng ta có thể tạo động lực để các mô hình nói sự thật, và khơi gợi những lập luận vững chắc. Một cách nhìn khác về điều này là chúng ta cũng có thể dùng nó như một phần then chốt trong việc huấn luyện giám khảo. Bằng cách buộc giám khảo phải làm việc trong một môi trường mà họ tiếp xúc với những lập luận gây hiểu lầm có tính thuyết phục gần như tối ưu, chúng ta đang huấn luyện họ trở nên cực kỳ vững vàng. Nếu họ luôn chính xác và được hiệu chỉnh tốt trong môi trường huấn luyện này, chúng ta có thể tin tưởng rằng họ sẽ vẫn chính xác và được hiệu chỉnh tốt ngay cả khi đối mặt với hành vi sai lệch hay thao túng của các bên tranh biện trong tương lai. (Bowman, 2024 (mở trong tab mới))

Điều này được thiết kế để mô phỏng một biến thể trường hợp xấu nhất của học tăng cường từ phản hồi của con người (RLHF), trong đó phản hồi của con người không thể phân biệt được câu trả lời đúng/sai. Do đó, việc so sánh độ chính xác của một giám khảo kém năng lực hơn trong mô hình tư vấn và trong tranh biện cho phép chúng ta kiểm chứng bằng thực nghiệm câu hỏi liệu tranh biện giữa các tác nhân AI có năng lực có thể giúp đưa ra phán quyết chính xác hơn hay không.

Khi nói đến việc huấn luyện AI bằng phản hồi của con người (ví dụ RLHF), chúng ta thường gặp phải một vấn đề tương tự. Nếu người đánh giá không thể nhận ra khi nào AI đang gây hiểu lầm, AI có thể học cách đưa ra những câu trả lời nghe có vẻ hay nhưng không nhất thiết đúng sự thật. Đây chính là lúc mô hình tư vấn phát huy tác dụng—nó mô phỏng kịch bản trường hợp xấu nhất này để cho thấy việc có các cơ chế kiểm tra mang tính đối kháng quan trọng đến mức nào. Bằng cách so sánh nó với tranh biện (một cách cụ thể để thực hiện giám sát đối kháng), chúng ta có thể thấy liệu việc để các mô hình tranh luận với nhau có cải thiện đáng kể khả năng phán đoán sự thật của chúng ta hay không. (Michael et al., 2023 (mở trong tab mới); Kenton et al., 2024 (mở trong tab mới))

Tranh biện Tĩnh so với Tranh biện Tương tác. Một cải tiến khác mà chúng ta có thể thực hiện đối với giao thức tranh biện là đưa vào tính tương tác. Tranh biện tương tác phát triển dựa trên tranh biện thông thường bằng cách bổ sung những tương tác linh hoạt giữa giám khảo và các bên tranh biện. Trong giao thức tranh biện chuẩn, hai mô hình chuyên gia lập luận cho những câu trả lời đối lập qua nhiều vòng. Mỗi vòng bao gồm việc cả hai bên tranh biện trình bày lập luận của mình đồng thời, không có tương tác trực tiếp với giám khảo cho đến khi cuộc tranh biện kết thúc. Tuy nhiên, trong tranh biện tương tác, sau mỗi vòng lập luận từ các bên tranh biện, giám khảo có thể đặt câu hỏi, yêu cầu làm rõ, và nêu bật những điểm cụ thể gây bối rối hoặc đáng quan tâm. Những tương tác này được ghi lại trong bản ghi tranh biện và có thể nhìn thấy được bởi cả hai bên tranh biện, cho phép họ giải quyết những điểm này ở các vòng tiếp theo. Cuộc đối thoại liên tục này giúp giám khảo hiểu rõ hơn các lập luận, đưa ra quyết định cuối cùng dựa trên đầy đủ thông tin hơn. Do đó, tranh biện tương tác bổ sung thêm một lớp gắn kết và phản hồi qua lại, giúp giám khảo theo dõi các lập luận sát sao hơn và hiểu bối cảnh sâu sắc hơn. (Michael et al., 2023 (mở trong tab mới))

Tranh biện Tương tác Đa Lượt với Độ dài Không giới hạn. Việc kết hợp tính tương tác bằng cách cho phép giám khảo là con người đặt câu hỏi làm rõ, cùng với độ dài không giới hạn—tức là chạy cuộc tranh biện lâu tùy theo nhu cầu của giám khảo—lần đầu tiên mang lại những kết quả tích cực cho tranh biện. Điều này cải thiện đáng kể khả năng của giám khảo không phải chuyên gia trong việc nhận biết câu trả lời trung thực, khi được đo lường tương đối so với mô hình tư vấn. Những sai sót phát sinh do lỗi của bên tranh biện trung thực được kỳ vọng sẽ cải thiện khi kỹ năng của bên tranh biện tăng lên. Tuy nhiên, độ chính xác trong mô hình tư vấn, khi các chuyên gia tư vấn che giấu bằng chứng khỏi giám khảo, được dự đoán sẽ tệ hơn khi kỹ năng của bên tranh biện tăng lên. (Michael et al., 2023 (mở trong tab mới))

Nghiên cứu cũng phát hiện rằng tranh biện hiệu quả khi có những bên tranh biện là con người giỏi, nhưng lại kém hiệu quả khi những con người đó được thay thế bằng các bên tranh biện GPT-4, tức là khi họ cố dùng LLM yếu để phân xử LLM mạnh. (Michael et al., 2023 (mở trong tab mới))

Hiệu suất của Giám khảo khi Tối ưu hóa Sức Thuyết phục của LLM. Sau khi đã có một số kết quả tích cực, chúng ta cần tiếp tục tìm cách để vừa huấn luyện giám khảo nhận biết lập luận tốt và xấu, vừa huấn luyện mô hình cải thiện chất lượng lập luận mà chúng tạo ra. Để tăng sức thuyết phục của các lập luận nói chung, và xem liệu điều này có dẫn đến phán quyết tốt hơn hay không, các nhà nghiên cứu đã triển khai lấy mẫu best-of-n, kết hợp với phong cách phê bình kiểu OpenAI. Họ tạo ra nhiều lập luận khả dĩ từ mô hình rồi chọn ra lập luận thuyết phục nhất. Một mô hình khác tạo ra các bài phê bình cho những lập luận ban đầu. Những bài phê bình này được dùng để tinh chỉnh các lập luận gốc, nhằm giải quyết những điểm yếu tiềm ẩn và khiến chúng thuyết phục hơn. Việc lựa chọn dựa trên một mô hình khác (mô hình ưu tiên/preference model) chấm điểm cho từng lập luận. Mô hình ưu tiên được huấn luyện để dự đoán lập luận nào giám khảo có khả năng thấy thuyết phục nhất, bằng cách chấm điểm các lập luận dựa trên dữ liệu quá khứ như kết quả của những cuộc tranh biện tương tự. Lập luận được lấy mẫu từ nhiều lập luận, đã qua phê bình và có điểm số thuyết phục cao nhất do mô hình ưu tiên đánh giá là lập luận được trình bày trong cuộc tranh biện. Khi thực sự triển khai tất cả những thay đổi này vào giao thức tranh biện, kết quả cho thấy sức thuyết phục cao hơn của LLM thực sự cải thiện đáng kể độ chính xác của giám khảo trong việc nhận diện câu trả lời đúng trong các cuộc tranh biện. Các mô hình có sức thuyết phục nhìn chung giỏi lập luận cho câu trả lời đúng hơn là câu trả lời sai. Điều này gợi ý rằng việc tối ưu hóa cho sức thuyết phục có thể dẫn đến những kết quả trung thực hơn, vì việc nói sự thật một cách thuyết phục trở nên dễ dàng hơn là nói dối. Tuy nhiên, độ chính xác của giám khảo cũng giảm ở mức cơ sở, vì các chuyên gia tư vấn cũng có sức thuyết phục cao hơn tương tự. (Khan et al., 2024 (mở trong tab mới))

Trong khi sức thuyết phục giúp tranh biện nâng cao hiệu suất của giám khảo trong các tác vụ hỏi-đáp (QA) có sự bất đối xứng thông tin bắt buộc—tức là các bài viết mà câu hỏi dựa trên đó bị giấu khỏi giám khảo—nếu chúng ta loại bỏ sự bất đối xứng này (hỏi-đáp khi giám khảo có quyền truy cập vào bài viết), thì tranh biện vẫn không cải thiện hiệu suất của giám khảo.

Chúng ta thấy rằng tranh biện vượt trội hơn mô hình tư vấn trên mọi tác vụ khi chuyên gia tư vấn được chỉ định ngẫu nhiên để lập luận cho câu trả lời đúng/sai. So sánh tranh biện với hỏi-đáp trực tiếp, kết quả phụ thuộc vào loại tác vụ: trong các tác vụ hỏi-đáp trích xuất có bất đối xứng thông tin, tranh biện vượt trội hơn hỏi-đáp trực tiếp, nhưng ở những tác vụ khác không có bất đối xứng thông tin, kết quả lại lẫn lộn.

Các nghiên cứu trước đây chỉ định sẵn cho các bên tranh biện/chuyên gia tư vấn một câu trả lời để lập luận cho. Khi chúng ta cho phép họ tự chọn câu trả lời nào để lập luận, chúng ta thấy giám khảo ít bị thuyết phục bởi câu trả lời sai hơn trong tranh biện so với trong mô hình tư vấn.

Tuy nhiên nhìn chung, chúng ta có một số bằng chứng tích cực cho thấy những bên tranh biện mạnh hơn dẫn đến độ chính xác giám khảo cao hơn. Điều này cung cấp một số bằng chứng cho thấy tranh biện thỏa mãn một mục tiêu then chốt của giám sát mở rộng quy mô – đó là độ chính xác của giám khảo tăng lên khi năng lực AI mở rộng quy mô. (Kenton et al., 2024 (mở trong tab mới))

Sự thật

Nhắc lại về Giả định Sự thật. Tuyên bố trung tâm của an toàn AI thông qua tranh biện là "nói dối khó hơn bác bỏ một lời nói dối." (Irving et al., 2017 (mở trong tab mới)) Nếu điều này đúng, khuôn khổ tranh biện sẽ tự nhiên gây bất lợi cho các chiến lược lừa dối và ưu ái các chiến lược trung thực. Giả định về sự thật về cơ bản gợi ý rằng trong giới hạn của kỹ năng lập luận hoàn hảo, chiến lược tối ưu cho các hệ thống AI trong một cuộc tranh biện sẽ là trình bày những lập luận hợp lệ cho những kết luận đúng. Tuy nhiên, trong thực tế, do những ràng buộc về tính toán, những hạn chế của các mô hình đóng vai trò là bên tranh biện, và những hạn chế của chính giám khảo, điều này có thể không đúng. Trong phần này, chúng ta sẽ khám phá nhiều lập luận và phản lập luận khác nhau đối với tuyên bố rằng tranh biện sẽ hội tụ về việc giám khảo có thể xác định được sự thật.

Chi tiết không cần thiết và Bằng chứng gây xao nhãng. Một vấn đề phổ biến là độ dài của cuộc tranh biện. Chúng ta không biết cần bao nhiêu chuỗi lập luận và phản lập luận để hội tụ về sự thật. Bên tranh biện không trung thực có thể sử dụng một vài chiến lược để kéo dài trạng thái mơ hồ cho đến khi giám khảo "hết kiên nhẫn" và chấp nhận ấn tượng bề mặt có thể sai của họ về chủ đề đó. Với một số câu hỏi, có những lập luận gây hiểu lầm nghe có vẻ hợp lý nhưng sau đó cần đến rất nhiều lập luận phản bác để chứng minh là sai. Bằng cách đưa ra những lập luận như vậy, một bên tranh biện không trung thực có thể trì hoãn cuộc tranh biện. (Kovařík et al., 2019 (mở trong tab mới)) Ví dụ, trong một cuộc tranh biện về độ an toàn của một hệ thống AI mới, một LLM không trung thực có thể làm nổi bật một lỗi hiếm gặp và kịch tính của một hệ thống tương tự, nghe có vẻ đáng báo động nhưng không có ý nghĩa thống kê. LLM trung thực khi đó cần dành nhiều thời gian để giải thích tại sao ví dụ này không mang tính đại diện, có khả năng khiến giám khảo bị choáng ngợp bởi các chi tiết kỹ thuật và dẫn đến một quyết định dựa trên lập luận gây hiểu lầm ban đầu.

Câu hỏi Bất công và Bất đối xứng. Một cuộc tranh biện có thể trở nên bất công nếu một số câu hỏi nhất định vốn dĩ đòi hỏi lập luận của một bên phải khó xây dựng hơn đáng kể so với bên còn lại (Kovařík et al., 2019 (mở trong tab mới)). Ngoài ra, mạch của một cuộc tranh biện có thể trở nên bất đối xứng nếu một bên tranh biện giành được quyền kiểm soát khuôn khổ được dùng để tiếp cận câu hỏi. Sự bất đối xứng trong tranh biện xảy ra khi một bên tranh biện thiết lập một khuôn khổ chi phối, định hình hướng đi của cuộc tranh biện, gây thiên lệch trong việc đánh giá lập luận và bằng chứng, khiến bên tranh biện trung thực khó trình bày lập luận của mình một cách hiệu quả hơn. (Barnes et al., 2020 (mở trong tab mới))

Khi bên tranh biện không trung thực thiết lập khuôn khổ, họ kiểm soát mạch truyện và dòng chảy của cuộc tranh biện. Họ có thể chiến lược hóa việc hướng sự chú ý vào điểm mạnh của mình và tránh xa điểm yếu. Trong khuôn khổ thiên lệch này, bên tranh biện không trung thực chia nhỏ vấn đề thành những thành phần nhỏ hơn, dễ bảo vệ riêng lẻ hơn. Việc bảo vệ những tuyên bố nhỏ hơn, hợp lý riêng lẻ dễ hơn việc bảo vệ một lập luận toàn diện, chính xác. Mỗi tuyên bố nhỏ này có thể đúng hoặc có vẻ hợp lý, nhưng khi gộp lại chúng dẫn đến một kết luận gây hiểu lầm. Tình huống này đặt bên tranh biện trung thực vào thế bị động, buộc phải thách thức từng tuyên bố riêng lẻ. Quá trình này tốn thời gian và phức tạp, thường khiến bên tranh biện trung thực có vẻ yếu thế hơn. Thay vì đưa ra lập luận toàn diện của riêng mình, bên tranh biện trung thực liên tục ở thế phòng thủ, giải quyết các luận điểm của bên không trung thực.

Để giải quyết những vấn đề nêu trên, các nhà nghiên cứu đang cố gắng triển khai nhiều cơ chế khác nhau vào giao thức tổng thể, chẳng hạn như tranh biện ở cấp meta (meta-debates), liên quan đến việc tổ chức một cuộc tranh biện về tính công bằng của cuộc tranh biện vừa diễn ra. Ví dụ, nếu một AI bị nghi ngờ làm chệch hướng hoặc xuyên tạc các lập luận trong cuộc tranh biện, một cuộc tranh biện riêng biệt có thể được tổ chức để xác định liệu các chiến thuật của nó có công bằng và phù hợp hay không.

Ngụy biện Motte và Bailey. Ngụy biện Motte và Bailey là một chiến lược lập luận mang tính lừa dối, trong đó ai đó đánh đồng hai lập trường: một lập trường dễ bảo vệ (motte) và một lập trường gây tranh cãi, khó bảo vệ hơn (bailey). Thuật ngữ này bắt nguồn từ thiết kế lâu đài thời trung cổ, trong đó motte là một gò đất kiên cố (dễ phòng thủ), còn bailey là một khu vực dễ bị tổn thương hơn (khó phòng thủ hơn). Dưới đây là quy trình chung mà một bên tranh biện có thể sử dụng để lợi dụng ngụy biện này:

1. Bảo vệ Bailey: Ban đầu, người đó khẳng định lập trường gây tranh cãi (bailey). Ví dụ, ai đó có thể tuyên bố: "Mọi nghệ thuật hiện đại đều là một trò lừa đảo được thiết kế để bóc lột công chúng."
2. Rút về Motte: Khi bị thách thức, họ rút về một lập trường dễ bảo vệ hơn nhiều (motte), chẳng hạn như: "Một số tác phẩm nghệ thuật hiện đại bị định giá quá cao và có thể được xem là mang tính bóc lột."
3. Đánh tráo khái niệm: Người đó sau đó hành động như thể việc bảo vệ thành công motte biện minh cho bailey, nói điều gì đó như: "Vì chúng ta đã đồng ý rằng một số nghệ thuật hiện đại có thể mang tính bóc lột, nên luận điểm ban đầu của tôi vẫn đứng vững."

Chiến thuật này tạo ra một mục tiêu luôn di chuyển đối với bên tranh biện trung thực. Nếu bên tranh biện trung thực thách thức tuyên bố gây tranh cãi ban đầu, bên không trung thực có thể rút về lập trường dễ bảo vệ hơn. Nếu bên trung thực sau đó bác bỏ lập trường dễ bảo vệ hơn đó, bên không trung thực có thể chuyển lại về việc ngụ ý tuyên bố gây tranh cãi rộng hơn ban đầu.

Sự mơ hồ. Khi chúng ta chuyển từ việc tranh biện về những điều có nhãn chân lý dễ xác minh, sang tranh biện về những điều mà kết quả có thể phụ thuộc vào đánh giá chủ quan và các tác vụ mờ, sẽ có thêm những phức tạp. Trong những bối cảnh này, sự mơ hồ có thể ảnh hưởng nghiêm trọng đến khả năng đánh giá chính xác các lập luận của giám khảo. Một bên tranh biện không trung thực có thể khai thác sự mơ hồ hoặc nhiều cách diễn giải khác nhau một cách có chiến lược, gây khó khăn cho giám khảo. Giám khảo có thể diễn giải sai một phát biểu mơ hồ, dẫn đến một phán quyết sai. Việc có giới hạn thời gian, hoặc để giám khảo tự quyết định khi nào kết thúc cuộc tranh biện, biến sự mơ hồ thành một công cụ chiến lược mà bên tranh biện không trung thực có thể khai thác để có lợi cho mình. (Barnes et al., 2020 (mở trong tab mới))

Ngay cả khi một câu hỏi không gây thiên lệch cho cuộc tranh biện chống lại câu trả lời đúng, kết quả tranh biện vẫn có thể không chắc chắn cho đến tận cuối cùng. Một cách điều này có thể xảy ra là nếu giám khảo luôn cảm thấy cần thêm thông tin để có được câu trả lời đúng. Ngoài ra, mỗi lập luận mới có thể gây bất ngờ cho giám khảo, và thuyết phục đến mức giám khảo cuối cùng luôn nghiêng về phía bên tranh biện nào vừa phát biểu gần đây nhất. (Kovařík et al., 2019 (mở trong tab mới)) Lý do đằng sau điều này cũng đã được khám phá ở phần trước. Bên tranh biện không trung thực luôn có thể đưa ra một lập luận cực kỳ thuyết phục nhưng không trung thực ở lượt thứ n trong một cuộc tranh biện n lượt mà không phải đối mặt với hậu quả của một phản bác.

Diện tích Bề mặt để Tấn công. Một lập luận ủng hộ việc hội tụ về sự thật là trong một cuộc tranh biện có cấu trúc tốt, một lập luận trung thực sẽ chịu được sự xem xét kỹ lưỡng tốt hơn một lập luận lừa dối vì nó có ít sai sót có thể bị khai thác hơn. Chẳng hạn, trong bối cảnh pháp lý, việc thẩm vấn chéo phơi bày những điểm mâu thuẫn trong lời khai gian dối. Trong các cuộc tranh biện AI, bản chất chi tiết của các lập luận có nghĩa là những lập luận lừa dối có nhiều khả năng bị thách thức và vạch trần hơn, dẫn đến việc sự thật trở thành điều kiện chiến thắng nhiều hơn là không.

So sánh với Thị trường Hiệu quả. Trong các thị trường hiệu quả, giá cả phản ánh chi phí thực của hàng hóa vì những sai lệch nhanh chóng được điều chỉnh bởi các lực lượng thị trường. Điều này tương tự như các cuộc tranh biện AI, nơi mỗi bên tranh biện phải đưa ra lập luận tốt nhất có thể để tránh bị đối thủ vượt mặt. Tuy nhiên, nếu người tiêu dùng bị thiên lệch một cách có hệ thống, giá thị trường có thể không phản ánh giá trị thực. Tương tự, nếu giám khảo trong các cuộc tranh biện bị thiên lệch, kết quả tranh biện có thể không phản ánh sự thật. Có một đề xuất tương tự tranh biện dành cho An toàn AI dựa trên cách tiếp cận này, được gọi là An toàn AI thông qua Tạo lập Thị trường (AI Safety via Market Making). (Hubinger Evan, 2020 (mở trong tab mới))

Lập luận Ngụy trang (Obfuscated Arguments). Bên cạnh việc kiểm soát mạch truyện của cuộc tranh biện bằng cách chọn cách trình bày hoặc cách phân rã vấn đề, bên tranh biện không trung thực có thể sử dụng những lập luận ngụy trang. Đây là những lập luận được xây dựng một cách có chiến lược để chứa những lỗi nghiêm trọng khó phát hiện hoặc chỉ ra.

Giả thuyết về tranh biện là, với một câu trả lời đúng cho trước, cơ chế tranh biện sẽ làm lộ ra câu trả lời này với một số lượng phán quyết của con người và các bước tính toán ở mức có thể quản lý được. Tuy nhiên, các lập luận ngụy trang có thể có nghĩa là một số lập luận quá lớn để có thể được xác minh một cách toàn diện là đúng. Nếu một vấn đề được chia thành các vấn đề con, trong đó cả hai bên tranh biện đều biết rằng ít nhất một câu trả lời của một vấn đề con là sai nhưng không ai biết là câu nào, bên tranh biện không trung thực có thể khai thác hiệu quả sự bất định này. Tình huống này khiến bên tranh biện trung thực khó xác định chính xác và thách thức bước có sai sót mà không phải kiểm tra một số lượng bước không khả thi. Nếu tranh biện không thể đảm bảo tính đúng đắn một cách đáng tin cậy, tranh biện có thể chỉ hiệu quả đối với những lập luận đủ nhỏ để được xem xét kỹ lưỡng hoàn toàn trong giới hạn tính toán cho phép.

Điều này đặt ra một thách thức đáng kể vì những gì giám khảo thấy trong những trường hợp này rất khó phân biệt. Hãy hình dung một tình huống trong đó các lập luận phức tạp và dày đặc thông tin. Một bên tranh biện lập luận rằng xác suất có sai sót trong lập luận của họ là thấp và do đó nên được tin tưởng. Bên tranh biện còn lại phản bác rằng có một xác suất cao là có sai sót ở đâu đó trong lập luận, nhưng không thể thực sự chỉ ra ở đâu, ngụ ý rằng lập luận đó không nên được tin tưởng. Điều này liên quan đến năng lực phân biệt và phê bình của các bên tranh biện mà chúng ta đã bàn ở phần trước. Nếu mô hình trung thực không thể xác định cụ thể sai sót trong lập luận, hoặc hướng dẫn hiệu quả cho giám khảo nhận diện lỗi, thì đây có thể là một hạn chế đối với hiệu quả của tranh biện như một kỹ thuật an toàn. Sự phức tạp ở đây nằm ở chỗ, trong trường hợp trung thực, bất kỳ bước nào trong lập luận được kiểm tra sẽ luôn đúng. Ngược lại, trong trường hợp không trung thực, bất kỳ bước nào được kiểm tra hầu như sẽ luôn đúng, nhưng sẽ có những sai sót thỉnh thoảng xuất hiện, được đặt vào một cách có chiến lược. (Barnes et al., 2020 (mở trong tab mới)) Vì vậy, vấn đề quy về việc chúng ta có thể thực hiện bao nhiêu lượt xác minh các tuyên bố trong giới hạn về thời gian và tài nguyên tính toán.

Để minh họa điều này, hãy xem xét một ví dụ đơn giản hóa với một số lớn có tên RSA-2048. Bên tranh biện trung thực đưa ra một phép kiểm tra đáng tin cậy chứng minh rằng RSA-2048 có thể chia hết cho những số nguyên tố nhỏ hơn, và hỗ trợ điều này bằng lập luận vững chắc. Trong khi đó, bên tranh biện không trung thực chọn một số X và lập luận rằng không có thừa số nguyên tố nào nhỏ hơn X và cũng không có thừa số nguyên tố nào lớn hơn X, từ đó kết luận sai rằng RSA-2048 không có thừa số nguyên tố nào. Cả hai bên tranh biện đều bổ sung thêm chi tiết vào lập luận của mình. Các tuyên bố của bên trung thực luôn chính xác, trong khi các tuyên bố của bên không trung thực thường đúng nhưng thỉnh thoảng sai. Điều này khiến giám khảo khó xác định ai đúng nếu không kiểm tra nhiều bước trong mỗi lập luận, việc này tốn rất nhiều thời gian và công sức. (Barnes et al., 2020 (mở trong tab mới))