Hàm phần thưởng kiểm tra xem kết quả hoàn thành có khớp với giá trị thực tế hay không.

• Nếu cả gold và prediction đều có thể phân tích được → sử dụng kiểm tra toán học.
• Nếu gold không thể phân tích được → trả về None để bỏ qua ví dụ.

>>> from trl.rewards import accuracy_reward

>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{3}}"}],
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{2}}"}],
... ]
>>> accuracy_reward(completions, solutions)
[1.0, 0.0]

Hàm phần thưởng loại bỏ nội dung suy luận và kiểm tra xem câu trả lời cuối cùng có khớp với đáp án chuẩn hay không.

• Nếu cả gold và prediction đều có thể phân tích được → sử dụng kiểm tra toán học.
• Nếu gold không thể phân tích được → trả về None để bỏ qua ví dụ.

>>> from trl.rewards import reasoning_accuracy_reward

>>> reasoning_delimiters = ["</think>"]
>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{3}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{2}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content with partial answers \boxed{\frac{1}{3}} but no final answer",
...         }
...     ],
... ]
>>> reasoning_accuracy_reward(completions, solutions, reasoning_delimiters=reasoning_delimiters)
[1.0, 0.0, 0.0]

Hàm phần thưởng nhân phần thưởng độ chính xác với độ dài câu trả lời theo lịch cosine, nhằm ưu tiên lập luận ngắn gọn. Tham khảo: Phụ lục C.1 của bài báo “Demystifying Long Chain-of-Thought Reasoning” (https://huggingface.co/papers/2502.03373).

Tính chính xác được xác định bằng cách kiểm tra toán học (như trong accuracy_reward()), và độ dài là số lượng token hoàn thành. Phần thưởng được nội suy theo lịch cosine giữa cận hoàn thành ngắn và cận hoàn thành dài: $$R_{\text{cosine}}(y) = v_{\min} + \frac{1}{2}(v_{\max} - v_{\min})\left(1 + \cos\left(\frac{|y|}{L_{\max}}\pi\right)\right)$$

Với một câu trả lời đúng, $(v{\min}, v{\max}) = (\texttt{min_value_correct}, \texttt{max_value_correct})$, do đó câu trả lời ngắn hơn sẽ được thưởng nhiều hơn. Với một câu trả lời sai, các cận sẽ được hoán đổi thành $(v{\min}, v{\max}) = (\texttt{max_value_wrong}, \texttt{min_value_wrong})$, do đó câu trả lời ngắn hơn sẽ bị phạt nhiều hơn (câu trả lời sai dài hơn sẽ bị phạt ít hơn, giúp duy trì khả năng khám phá). Khi giải pháp chuẩn không thể phân tích được, ví dụ đó sẽ bị bỏ qua (thưởng là None), giống như trong accuracy_reward().

>>> from trl.rewards import get_cosine_scaled_reward

>>> cosine_scaled_reward = get_cosine_scaled_reward(max_len=100)
>>> completions = [[{"content": r"\boxed{\frac{1}{3}}"}], [{"content": r"\boxed{\frac{1}{2}}"}]]
>>> solution = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completion_ids = [[1] * 50, [1] * 50]  # both completions are 50 tokens, half of max_len
>>> cosine_scaled_reward(completions, solution, completion_ids)
[0.75, -0.75]

Hàm thưởng kiểm tra xem quá trình suy luận có được bao bọc trong các thẻ "<think>" và "</think>" hay không. Hàm này trả về phần thưởng 1.0 nếu định dạng đúng, ngược lại là 0.0.

>>> from trl.rewards import think_format_reward

>>> completions = [
...     [{"content": "<think>\nThis is my reasoning.\n</think>\nThis is my answer."}],
...     [{"content": "<think>\nThis is my reasoning.\nThis is my answer."}],
... ]
>>> think_format_reward(completions)
[1.0, 0.0]

Hàm phần thưởng phạt các n-gram lặp lại trong một câu trả lời, được sử dụng để ngăn chặn văn bản suy thoái, lặp đi lặp lại (một chế độ lỗi phổ biến và chiến lược gian lận phần thưởng khi sử dụng các phần thưởng định hình độ dài hoặc định dạng). Tham khảo: Phụ lục C.2 của bài báo “Demystifying Long Chain-of-Thought Reasoning” (https://huggingface.co/papers/2502.03373).

Phạt tỷ lệ thuận với tỷ lệ n-gram lặp lại trong phần hoàn thành: $$R_{\text{repetition}}(y) = \left(1 - \frac{\#\,\text{unique } n\text{-grams}}{\#\,\text{total } n\text{-grams}}\right) \times p$$

trong đó $p$ là max_penalty. Một completion không có n-gram lặp lại sẽ nhận phần thưởng là 0.0, trong khi một completion hoàn toàn lặp lại sẽ tiến gần đến max_penalty. Các n-gram được tính trên các token id của completion (bài báo áp dụng hình phạt cho các token lặp lại), do đó phần thưởng được định nghĩa bởi tokenizer và không phụ thuộc vào ngôn ngữ. Các completion có ít hơn ngram_size token sẽ nhận phần thưởng là 0.0.

>>> from trl.rewards import get_repetition_penalty_reward

>>> repetition_penalty = get_repetition_penalty_reward(ngram_size=2, max_penalty=-1.0)
>>> completion_ids = [[1, 2, 3, 4], [5, 5, 5, 5, 5]]
>>> repetition_penalty(completion_ids)
[0.0, -0.75]

Hàm phần thưởng phạt các câu trả lời quá dài. Nó được sử dụng để phạt các câu trả lời quá dài, nhưng không dùng để thưởng cho các câu trả lời ngắn hơn. Tham khảo: Phương trình (13) từ bài báo DAPO (https://huggingface.co/papers/2503.14476) $$R_{\text{length}}(y) = \begin{cases} 0, & |y| \le L_{\max} - L_{\text{cache}} \\ \dfrac{(L_{\max} - L_{\text{cache}}) - |y|}{L_{\text{cache}}}, & L_{\max} - L_{\text{cache}} < |y| \le L_{\max} \\ -1, & L_{\max} < |y| \end{cases}$$

>>> from trl.rewards import get_soft_overlong_punishment

>>> soft_overlong_punishment = get_soft_overlong_punishment(max_completion_len=100, soft_punish_cache=20)
>>> completion_ids = [[1] * 90]  # simulating a completion with 90 tokens. 90 is between 80 and 100.
>>> soft_overlong_punishment(completion_ids)
>>> [-0.5]