[bits-bytes-nn]

This PR adds an AI-generated paper survey: From RLHF to DPO and GRPO: A Lineage Map of LLM Preference

• Topic: LLM 정렬을 위한 선호 최적화: RLHF, DPO와 그 후속 방법
• Papers: 22 (14 core)
• Lineages: 6
• Characters: 79,914

This pull request was automatically generated by the Scholar-Lens system.

Review checklist

• Unverified numbers, equations or figures removed from paper cards: GRPO 유효 손실 분석 (1)
• Survey section 'RLHF의 기초: 보상 모델과 PPO' kept below the bar (score 81, 1 blocking issue(s); targeted fix applied and re-scored): check it: ""높은 선호율도 이 때문일 가능성이 있습니다." [@1909.08593]의 카드는 라벨러가 복사 여부만 휴리스틱으로 확인했을 수 있다는 점을 '똑똑한 복사기'가 된 원인으로만 제시합니다. 이 원인으로 96%·84%라는 높은 선호율까지 설명된다고 하지 않습니다. 이 문장을 삭제하거나 "저자들은 이 복사 행동이 라벨러가 복사 여부만 휴리스틱으로 확인한 탓일 수"
• Survey section '오프라인과 온라인의 수렴: DPO 계열이 RL로 돌아오는 길' kept below the bar (score 68, 4 blocking issue(s); targeted fix rejected): check it: ""다만 저하의 크기를 정량적으로 제시하지는 않았습니다." — [@2406.02900]에 대해 확인할 수 있는 근거는 "초록에 정량적 수치가 없다"는 사실뿐입니다. 논문 자체가 수치를 내지 않았다는 근거는 없으므로 이 주장은 뒷받침되지 않습니다. 이 문장을 삭제하거나, 저하의 크기를 따로 언급하지 않는 방향으로 고치십시오."; "표의 GRPO 행 "정답 기반 보상(분석은 이진 검증 보상 가정)" — [@2402.03300]의 GRPO가 정답 기반 보상을 썼다는 근거가 없습니다. 근거로 확인되는 것은 "질문마다 출력 G개에 보상을 매긴다"는 사실뿐입니다. 이진 검증 가능한 보상은 [@2503.06639]의 분석 가정입니다. 셀을 "그룹으로 정규화한 출력별 보상(분석은 이진 검증 가능"; ""### 오프라인으로 가도 과최적화는 남는다" — 제목이 평서 다-형입니다. 앞 절들처럼 명사구로 바꾸십시오: "### 오프라인에도 남는 과최적화""; ""### 남는 차이는 판정자다" — 같은 문제입니다: "### 남는 차이: 판정자""