Nakano, Reiichiro, et al. "Webgpt: Browser-assisted question-answering with human feedback." arXiv preprint arXiv:2112.09332 (2021).

WebGPT: Browser-assisted question-answering with human feedback

Reiichiro Nakano* Jacob Hilton* Suchir Balaji* Jeff Wu Long Ouyang Christina Kim Christopher Hesse Shantanu Jain Vineet Kosaraju William Saunders Xu Jiang Karl Cobbe Tyna Eloundou Gretchen Krueger Kevin Button Matthew Knight Benjamin Chess John Schulman OpenAI

Abstract

우리는 텍스트 기반 웹 브라우징 환경을 사용하여 GPT-3를 fine-tuning하여 장문 질문(long-form questions)에 답변하도록 한다. 이 환경은 모델이 웹을 검색하고 탐색할 수 있도록 허용한다. task를 인간이 수행할 수 있도록 설정함으로써, 우리는 **모방 학습(imitation learning)**을 사용하여 task에 대한 모델을 훈련하고, 그 다음 **인간 피드백(human feedback)**으로 답변 품질을 최적화할 수 있다. 사실적 정확성(factual accuracy)에 대한 인간 평가를 용이하게 하기 위해, 모델은 답변을 뒷받침하기 위해 웹을 탐색하는 동안 참고 자료(references)를 수집해야 한다. 우리는 Reddit 사용자들의 질문 데이터셋인 ELI5를 사용하여 모델을 훈련하고 평가한다. 우리의 최고 모델은 behavior cloning을 사용하여 GPT-3를 fine-tuning한 다음, 인간 선호도를 예측하도록 훈련된 보상 모델(reward model)에 대해 rejection sampling을 수행하여 얻어진다. 이 모델의 답변은 인간 시연자(human demonstrators)의 답변보다 56%의 경우에서 인간에게 선호되었으며, Reddit에서 가장 많은 추천을 받은 답변보다 69%의 경우에서 선호되었다.

1 Introduction

NLP 분야에서 떠오르는 도전 과제는 Long-Form Question-Answering (LFQA) 이다. LFQA는 open-ended 질문에 대해 단락 길이의 답변을 생성하는 task이다. LFQA 시스템은 사람들이 세상에 대해 학습하는 주요 방법 중 하나가 될 잠재력을 가지고 있지만, 현재는 인간의 성능에 뒤처져 있다 [Krishna et al., 2021]. 기존 연구들은 이 task의 두 가지 핵심 구성 요소인 **정보 검색(information retrieval)과 합성(synthesis)**에 초점을 맞추는 경향이 있다.

본 연구에서는 이러한 구성 요소에 대한 기존 솔루션을 활용한다: 문서 검색은 Microsoft Bing Web Search API ${ }^{2}$에 위임하고, GPT-3 [Brown et al., 2020]를 fine-tuning하여 비지도 사전학습(unsupervised pre-training)을 통해 고품질의 합성을 달성한다. 우리는 이러한 개별 구성 요소를 개선하는 대신, 더욱 충실한 학습 목표(training objectives)를 사용하여 이들을 결합하는 데 집중한다. Stiennon et al. [2020]의 연구를 따라, 우리는 인간 피드백을 사용하여 답변 품질을 직접 최적화함으로써 인간과 경쟁할 만한 성능을 달성한다.

우리의 주요 기여는 두 가지이다:

(a) 데모 인터페이스의 스크린샷.

*Question
How can I train the crows in my neighborhood to bring me gifts?
Quotes
From Gifts From Crows | Outside My Window (www.birdsoutsidemywindow.org)
> Many animals give gifts to members of their own species but crows and
formes to give gifts to humans.
Past actions
Click Gifts train crows to bring you gifts
Quote ts From Crows | Outside My Window www.birdsoutsidemywindow.org
Back
Search results for: how to train crows to bring you gifts
-Scrollbar: 0-11
-Text
[0 How to Make Friends With Crows - PetHelpful†pethelpful.com]
as I said, I's a few times, your crows would learn your new place, but 
probably not in their territory. The other option is simply to make new 
crow friends with the crows that live in your new neighborhood.
{1†Gifts From Crows | Outside My Window†www.birdsoutsidemywindow.orgl
startled rather than as a gift. If the crows bring bright objects you'll
know for sure that it's a gift because it's not something they eat.
Brandi Williams says: May 28, 2020 at 7:19 am.
*Actions left: 96
-Next action

(b) 모델에 제공된 해당 텍스트.

Figure 1: 인간 데모 시연자(왼쪽)와 모델(오른쪽)에게 보여지는 텍스트 기반 웹 브라우징 환경의 관찰 화면. 웹 페이지 텍스트는 설명을 위해 요약되었다.

• 우리는 fine-tuning된 language model이 상호작용할 수 있는 텍스트 기반 웹 브라우징 환경을 구축한다. 이를 통해 모방 학습(imitation learning) 및 강화 학습(reinforcement learning)과 같은 일반적인 방법을 사용하여 검색(retrieval)과 합성(synthesis)을 end-to-end 방식으로 개선할 수 있다.
• 우리는 참조(references)가 포함된 답변을 생성한다. 이 참조는 **모델이 웹 페이지를 탐색하는 동안 추출한 구절(passage)**이다. 이는 레이블러(labeler)가 독립적인 조사의 어렵고 주관적인 과정 없이도 답변의 사실적 정확성(factual accuracy)을 판단하는 데 결정적인 역할을 한다.

우리의 모델은 주로 "Explain Like I'm Five" subreddit에서 가져온 질문 데이터셋인 ELI5 [Fan et al., 2019]의 질문에 답변하도록 학습된다. 우리는 두 가지 추가적인 종류의 데이터를 수집한다:

• 인간이 웹 브라우징 환경을 사용하여 질문에 답변하는 시연(demonstrations),
• 동일한 질문에 대한 두 가지 모델 생성 답변(각각 고유한 참조 세트 포함) 간의 비교.

답변은 **사실적 정확성, 일관성(coherence), 전반적인 유용성(usefulness)**을 기준으로 평가된다.

우리는 이 데이터를 네 가지 주요 방식으로 사용한다:

• 시연을 사용한 행동 복제(behavior cloning) (즉, supervised fine-tuning),
• 비교를 사용한 보상 모델링(reward modeling),
• 보상 모델에 대한 강화 학습(reinforcement learning),
• 보상 모델에 대한 rejection sampling.

우리의 최고 모델은 행동 복제와 rejection sampling의 조합을 사용한다. 또한 추론 시간(inference-time) 연산이 더 제한적일 때 강화 학습이 일부 이점을 제공한다는 것을 발견했다.

우리는 최고 모델을 세 가지 다른 방식으로 평가한다. 첫째, held-out 질문 세트에서 모델의 답변을 인간 시연자가 작성한 답변과 비교한다. 우리 모델의 답변은 56%의 경우에 선호되었으며, 이는 텍스트 기반 브라우저의 인간 수준 사용을 보여준다. 둘째, 모델의 답변(공정성을 위해 참조를 제거한 상태)을 ELI5 데이터셋에서 가장 많은 표를 얻은 답변과 비교한다. 우리 모델의 답변은 69%의 경우에 선호되었다. 셋째, 단답형 질문의 adversarial 데이터셋인 TruthfulQA [Lin et al., 2021]에서 모델을 평가한다. 우리 모델의 답변은 75%의 경우에 사실(true)이었고, 54%의 경우에 사실이면서 유익(informative)했으며, 이는 기반 모델(GPT-3)을 능가하지만 인간 성능에는 미치지 못한다.

본 논문의 나머지 부분은 다음과 같이 구성된다:

• Section 2에서는 텍스트 기반 웹 브라우징 환경과 모델이 이와 상호작용하는 방식을 설명한다.
• Section 3에서는 데이터 수집 및 학습 방법을 더 자세히 설명한다.
• Section 4에서는 **ELI5 및 TruthfulQA에서 가장 성능이 좋은 모델(다양한 추론 시간 연산 예산에 대해)**을 평가한다.
• Section 5에서는 다양한 방법들을 비교하고 데이터셋 크기, 파라미터 수, 추론 시간 연산에 따라 어떻게 확장되는지에 대한 실험 결과를 제공한다.
• Section 6에서는 모델을 진실하게 질문에 답변하도록 학습시키는 것의 함의와 더 넓은 영향에 대해 논의한다.

Table 1: 모델이 취할 수 있는 행동. 모델이 다른 텍스트를 생성하면 유효하지 않은 행동으로 간주된다. 유효하지 않은 행동도 최대 횟수에 포함되지만, 그 외에는 무시된다.

2 Environment design

이전의 질문-응답 연구들, 예를 들어 REALM [Guu et al., 2020]과 RAG [Lewis et al., 2020a]는 주어진 쿼리에 대한 문서 검색(document retrieval) 성능 향상에 초점을 맞추었다. 그러나 우리는 이 목적을 위해 익숙한 기존 방법인 최신 검색 엔진(Bing)을 사용한다. 이 접근 방식은 두 가지 주요 장점을 가진다. 첫째, 최신 검색 엔진은 이미 매우 강력하며, 방대한 양의 최신 문서를 색인하고 있다. 둘째, 이를 통해 우리는 검색 엔진을 사용하여 질문에 답하는 더 높은 수준의 task에 집중할 수 있다. 이는 인간이 잘 수행할 수 있는 능력이며, language model이 모방할 수 있는 영역이다.

이러한 접근 방식을 위해 우리는 텍스트 기반의 웹 브라우징 환경을 설계했다. Language model은 현재 환경 상태에 대한 서면 요약(written summary)을 prompt로 받는다. 이 요약에는 질문, 현재 커서 위치의 현재 페이지 텍스트, 그리고 기타 정보가 포함된다 (Figure 1 b) 참조). 이에 대한 응답으로, 모델은 Table 1에 제시된 명령어 중 하나를 발행해야 한다. 이 명령어는 Bing 검색 실행, 링크 클릭, 스크롤과 같은 동작을 수행한다. 이 과정은 새로운 context와 함께 반복된다 (따라서 이전 단계에 대한 유일한 기억은 요약에 기록된 내용뿐이다). 모델이 브라우징하는 동안 취할 수 있는 동작 중 하나는 현재 페이지에서 발췌문(extract)을 인용하는 것이다. 이 동작이 수행되면, 페이지 제목, 도메인 이름, 발췌문이 기록되어 나중에 참고 자료로 사용된다. 브라우징은 모델이 브라우징 종료 명령을 내리거나, 최대 동작 횟수에 도달하거나, 최대 총 참고 자료 길이에 도달할 때까지 계속된다. 이 시점에서, 최소한 하나의 참고 자료가 있는 한, 모델은 질문과 참고 자료를 prompt로 받아 최종 답변을 작성해야 한다. 우리 환경에 대한 추가 기술 세부 정보는 Appendix A에서 찾을 수 있다.

3 Methods

3.1 Data collection

인간의 지침(guidance)은 우리 접근 방식의 핵심이다. 자연어로 사전학습된 language model은 유효한 명령어 형식을 알지 못하므로, 우리의 텍스트 기반 브라우저를 사용할 수 없을 것이다. 따라서 우리는 인간이 브라우저를 사용하여 질문에 답하는 예시들을 수집했으며, 이를 demonstration이라고 부른다. 그러나 demonstration만으로 학습하는 것은 답변 품질을 직접적으로 최적화하지 않으며, 인간의 성능을 크게 뛰어넘기 어려울 가능성이 높다 [Stiennon et al., 2020]. 이에 우리는 동일한 질문에 대한 모델 생성 답변 쌍을 수집하고, 인간에게 어떤 답변을 선호하는지 물어보았으며, 이를 comparison이라고 부른다.

demonstration과 comparison 모두, 질문의 대다수는 장문형 질문 데이터셋인 ELI5 [Fan et al., 2019]에서 가져왔다. 다양성과 실험을 위해, 우리는 TriviaQA [Joshi et al., 2017]와 같은 다른 출처의 질문들도 소수 혼합했다. 총 약 6,000개의 demonstration을 수집했으며, 이 중 92%는 ELI5 질문에 대한 것이었다. 또한 약 21,500개의 comparison을 수집했으며, 이 중 98%는 ELI5 질문에 대한 것이었다. 사용된 질문에 대한 더 자세한 분류와 후처리(post-processing) 세부 사항은 Appendix B에서 확인할 수 있다.

Table 2: ELI5 테스트 세트에서 무작위로 선택된 질문(cherry-pick되지 않음)에 대해 175B best-of-64 모델이 생성한 답변. 참고 문헌의 전체 텍스트는 Appendix J에서 확인할 수 있으며, 인간 시연자(human demonstrators) 및 ELI5 데이터셋의 답변도 함께 제공된다. 추가 샘플은 https://openaipublic.blob.core.windows.net/webgpt-answer-viewer/index.html에서 확인할 수 있다.

인간이 demonstration을 제공하기 쉽도록, 우리는 환경을 위한 **그래픽 사용자 인터페이스(GUI)**를 설계했다 (Figure 1 a) 참조). 이 인터페이스는 텍스트 기반 인터페이스와 본질적으로 동일한 정보를 표시하고 모든 유효한 작업을 수행할 수 있게 하지만, 더욱 인간 친화적이다. comparison을 위해서는 유사한 인터페이스를 설계하여, 보조 주석(auxiliary annotations)과 비교 평가(comparison ratings)를 제공할 수 있도록 했다. 다만, 학습에는 최종 비교 평가(전반적으로 더 좋음, 더 나쁨, 또는 동일하게 좋음)만 사용되었다.

demonstration과 comparison 모두에서, 우리는 답변이 관련성 있고(relevant), 일관성 있으며(coherent), 신뢰할 수 있는 참고 자료에 의해 뒷받침되어야 한다는 점을 강조했다. 이러한 기준과 데이터 수집 파이프라인의 다른 측면에 대한 자세한 내용은 Appendix C에서 확인할 수 있다. 우리는 comparison 데이터셋을 공개할 예정이며, 자세한 내용은 Appendix K에서 확인할 수 있다.

3.2 Training

우리의 접근 방식에서 사전학습된 모델의 사용은 매우 중요하다. 독해력(reading comprehension) 및 답변 합성(answer synthesis)과 같이 환경을 성공적으로 사용하여 질문에 답하는 데 필요한 많은 기본 능력은 언어 모델의 zero-shot 능력으로 나타난다 [Brown et al., 2020]. 따라서 우리는 GPT-3 모델 계열의 모델들을 fine-tuning했으며, 특히 760M, 13B, 175B 모델 크기에 중점을 두었다.

이러한 모델들을 기반으로, 우리는 네 가지 주요 학습 방법을 사용했다:

1. Behavior cloning (BC). 우리는 인간 시연자가 발행한 명령을 레이블로 사용하여 supervised learning 방식으로 시연 데이터에 대해 fine-tuning했다.
2. Reward modeling (RM). 최종 unembedding layer를 제거한 BC 모델부터 시작하여, 질문과 참조가 포함된 답변을 입력으로 받아 scalar reward를 출력하는 모델을 학습했다. Stiennon et al. [2020]을 따라, reward는 Elo 점수를 나타내며, 두 점수 간의 차이가 인간 레이블러가 한 답변을 다른 답변보다 선호할 확률의 logit을 나타내도록 스케일링되었다. reward 모델은 비교 데이터를 레이블로 사용하여 cross-entropy loss로 학습된다. 무승부는 soft 50% 레이블로 처리된다.
3. Reinforcement learning (RL). 다시 Stiennon et al. [2020]을 따라, 우리는 PPO [Schulman et al., 2017]를 사용하여 BC 모델을 환경에서 fine-tuning했다. 환경 reward의 경우, 각 에피소드 끝에서 reward 모델 점수를 취하고, reward 모델의 과도한 최적화를 완화하기 위해 각 토큰에서 BC 모델로부터의 KL 페널티를 추가했다.
4. Rejection sampling (best-of-n). 우리는 BC 모델 또는 RL 모델(명시되지 않은 경우 BC 모델 사용)에서 고정된 수의 답변(4, 16 또는 64)을 샘플링하고, reward 모델에 의해 가장 높게 평가된 답변을 선택했다. 이는 reward 모델에 대해 최적화하는 대안적인 방법으로 사용되었으며, 추가 학습이 필요하지 않지만 추론 시 더 많은 연산 자원을 사용한다.

우리는 BC, RM, RL 각각에 대해 서로 겹치지 않는 질문 세트를 사용했다. BC의 경우, 시연 데이터의 약 4%를 검증 세트로 사용하기 위해 보류했다. RM의 경우, 다양한 크기(주로 175B 모델 크기)의 모델을 사용하여 임시적으로 비교 데이터셋에 대한 답변을 샘플링했으며, 다양한 방법과 하이퍼파라미터 조합으로 학습된 모델들을 단일 데이터셋으로 결합했다. 이는 데이터 효율성을 위한 것이었다. 우리는 하이퍼파라미터 튜닝과 같은 평가 목적으로 많은 비교 데이터를 수집했으며, 이 데이터를 낭비하고 싶지 않았다. 우리의 최종 reward 모델은 약 16,000개의 비교 데이터로 학습되었고, 나머지 5,500개는 평가 목적으로만 사용되었다. RL의 경우, ELI5 질문의 90%와 TriviaQA 질문의 10%를 혼합하여 학습했다. 샘플 효율성을 개선하기 위해, 각 에피소드 끝에서 이전 에피소드와 동일한 참조를 사용하여 15개의 추가 답변 전용 에피소드를 삽입했다. 우리는 탐색(browsing)보다 답변이 reward 모델 점수의 분산을 약간 더 많이 설명했음에도 불구하고 훨씬 적은 단계를 거쳤기 때문에 이를 시도하게 되었고, 그 결과 샘플 효율성이 약 2배 향상되는 것을 발견했다. 또한, 탐색 액션의 최대 수를 20-100 범위에서 균일하게 샘플링하여 무작위화했다.

모든 학습 방법에 대한 하이퍼파라미터는 Appendix E에서 확인할 수 있다.

4 Evaluation

우리의 접근 방식을 평가하기 위해, 우리는 세 가지 "WebGPT" 모델에 초점을 맞췄다. 각 모델은 behavior cloning으로 학습된 후, 동일한 크기의 reward model에 대한 rejection sampling을 통해 최적화되었다:

• 760M best-of-4 모델
• 13B best-of-16 모델
• 175B best-of-64 모델

Section 5.2에서 논의했듯이, 이들은 다양한 추론 시간 연산 예산에 맞춰 설계된 연산 효율적인 모델들이다. 우리는 rejection sampling과 결합했을 때 RL이 큰 이점을 제공하지 않았기 때문에(Figure 4 참조), 단순화를 위해 RL을 제외했다.
모든 WebGPT 모델은 사람 평가를 통해 튜닝된 0.8의 sampling temperature와 최대 100회의 browsing action을 사용하여 평가되었다.

4.1 ELI5

우리는 WebGPT를 ELI5 테스트 세트에서 두 가지 방식으로 평가했다:

1. 모델이 생성한 답변과 데몬스트레이터가 웹 브라우징 환경을 사용하여 작성한 답변을 비교했다. 이 비교에는 보상 모델 학습에 사용된 것과 동일한 절차를 사용했다. 데몬스트레이션과 비교에 대한 지침이 매우 유사한 기준을 강조하므로, 우리는 이것을 공정한 비교라고 생각한다.
2. 모델이 생성한 답변과 **ELI5 데이터셋의 참조 답변(Reddit에서 가장 많은 추천을 받은 답변)**을 비교했다. 이 경우, 우리의 상세한 비교 기준이 실제 사용자들의 기준과 일치하지 않을 수 있다는 **생태학적 타당성(ecological validity)**에 대한 우려가 있었다. 또한, Reddit 답변에는 일반적으로 인용이 포함되지 않으므로 **블라인딩(blinding)**에 대한 우려도 있었다. 이러한 우려를 완화하기 위해, 우리는 모델이 생성한 답변에서 모든 인용과 참조를 제거하고, 우리의 상세한 지침에 익숙하지 않은 새로운 계약자들을 고용하여 훨씬 더 최소화된 지침을 제공했다 (지침은 Appendix F에 제시되어 있다).

두 경우 모두, 우리는 동점(ties)을 50% 선호도(preference rating)로 처리했다 (제외하지 않고).
우리의 결과는 Figure 2에 나타나 있다. 우리의 최고 모델인 175B best-of-64 모델은 인간 데몬스트레이터가 작성한 답변보다 56% 더 선호되는 답변을 생성한다. 이는 인간 피드백의 중요성을 시사한다. 왜냐하면 데몬스트레이션을 모방하는 것만으로는 50% 선호도를 초과하기 어려울 것이기 때문이다 (물론, 덜 노이즈가 많은 정책을 생성함으로써 여전히 가능할 수도 있다). 동일한 모델은 ELI5 데이터셋의 참조 답변보다 69% 더 선호되는 답변을 생성한다. 이는 Krishna et al. [2021]의 최고 모델이 참조 답변보다 23% 더 선호되는 답변을 생성한 것에 비해 상당한 개선이다. 비록 Krishna et al. [2021]은 우리의 가장 작은 모델보다도 훨씬 적은 연산량을 사용했지만 말이다.

Figure 2: ELI5에 대한 인간 평가 결과. (a) 우리의 웹 브라우저를 사용하여 수집된 데몬스트레이션과 비교, (b) 각 질문에 대해 가장 많은 추천을 받은 답변과 비교. rejection sampling의 양(best-of-$n$에서 $n$)은 연산 효율성을 고려하여 선택되었다 (Figure 8 참조). 오차 막대(Error bars)는 $\pm 1$ 표준 오차를 나타낸다.

ELI5 참조 답변과의 평가는 이전 연구와 비교하는 데 유용하지만, 우리는 인간 데몬스트레이션과의 평가가 여러 가지 이유로 더 의미 있다고 생각한다:

• 사실 확인 (Fact-checking): 참조가 없으면 답변의 사실적 정확성을 평가하기 어렵다. 검색 엔진의 도움을 받아도 전문 지식이 필요한 경우가 많다. 그러나 WebGPT와 인간 데몬스트레이터는 참조가 포함된 답변을 제공한다.
• 객관성 (Objectivity): 최소화된 지침을 사용하면 한 답변을 다른 답변보다 선택하는 데 어떤 기준이 사용되는지 알기 어렵다. 우리의 더 상세한 지침은 더 해석 가능하고 일관된 비교를 가능하게 한다.
• 블라인딩 (Blinding): 인용과 참조를 제거하더라도 WebGPT는 Reddit 답변과 스타일이 다른 답변을 작성하므로 비교의 블라인딩 효과가 떨어진다. 반면, WebGPT와 인간 데몬스트레이터는 유사한 스타일로 답변을 작성한다. 또한, 일부 ELI5 답변에는 링크가 포함되어 있었는데, 우리는 라벨러들에게 이 링크를 따라가지 말라고 지시했으며, 이는 해당 답변에 대한 라벨러들의 편향을 유발했을 수 있다.
• 답변 의도 (Answer intent): 사람들은 ELI5에서 웹에서 이미 찾을 수 있는 답변보다는 독창적이고 단순화된 설명을 얻기 위해 질문하지만, 이는 우리가 답변을 평가하고자 하는 기준이 아니었다. 더욱이, 많은 ELI5 질문은 적은 수의 저품질 답변만 받는다. 인간 데몬스트레이션을 사용하면 원하는 의도와 노력 수준이 일관되게 사용되도록 보장하기가 더 쉽다.

4.2 TruthfulQA

WebGPT의 능력을 더 자세히 알아보기 위해, 우리는 WebGPT를 TruthfulQA [Lin et al., 2021] 데이터셋으로 평가했다. TruthfulQA는 adversarially-constructed된 단답형 질문 데이터셋이다. TruthfulQA의 질문들은 일부 사람들이 잘못된 믿음이나 오해로 인해 거짓으로 답변할 수 있도록 고안되었다. 답변은 진실성(truthfulness)과 정보성(informativeness)이라는 두 가지 기준으로 평가되며, 이 두 기준은 서로 상충될 수 있다 (예를 들어, "할 말이 없습니다"는 진실하지만 정보성이 낮다고 간주된다).

우리는 WebGPT가 사용하는 기본 GPT-3 모델과 WebGPT 모델 자체를 TruthfulQA로 평가했다. GPT-3의 경우, Lin et al. [2021]의 "QA prompt"와 "helpful prompt"를 모두 사용했으며, **자동화된 지표(automated metric)**를 사용했다. 이는 GPT-3 모델 계열이 생성한 답변에 대한 인간 평가와 밀접하게 일치하기 때문이다. WebGPT의 경우, 자동화된 지표에 대해 WebGPT의 답변이 out-of-distribution이므로 **인간 평가(human evaluation)**를 사용했다. TruthfulQA는 단답형 데이터셋이므로,

Figure 3: TruthfulQA 결과. rejection sampling의 양(best-of-$n$에서 $n$)은 연산 효율성을 고려하여 선택되었다 (Figure 8 참조). 오차 막대(Error bars)는 $\pm 1$ 표준 오차를 나타낸다.

우리는 WebGPT의 답변 길이를 50 토큰으로 잘라내고, 뒤에 따라오는 불완전한 문장들을 제거했다.

결과는 Figure 3에 나와 있다. 모든 WebGPT 모델은 TruthfulQA에서 GPT-3 모델(두 가지 prompt 모두 사용)보다 진실한 답변의 비율과 진실하고 정보성 있는 답변의 비율 모두에서 크게 우수한 성능을 보인다. 또한, WebGPT의 경우 모델 크기가 커질수록 진실하고 정보성 있는 답변의 비율이 증가하는 반면, GPT-3는 어떤 prompt를 사용하든 이러한 경향을 보이지 않는다. WebGPT의 TruthfulQA 성능에 대한 추가적인 정성적 분석은 Section 6.1에 제시되어 있다.

4.3 TriviaQA

우리는 또한 WebGPT 175B BC 모델을 TriviaQA [Joshi et al., 2017] 벤치마크에서 평가하였다. 이 결과는 Appendix G에 제시되어 있다.

5 Experiments

5.1 Comparison of training methods

우리는 **강화 학습(RL)**과 **rejection sampling (best-of-$n$)**을 서로 비교하고, behavior cloning (BC) baseline과도 비교하는 추가 실험들을 수행했다. 결과는 Figure 4와 5에 나타나 있다.
Rejection sampling은 상당한 이점을 제공하며, 175B best-of-64 BC 모델이 175B BC 모델보다 68%의 경우에서 선호되었다. 반면, RL은 더 작은 이점을 제공하며, 175B RL 모델이 175B BC 모델보다 58%의 경우에서 선호되었다.

rejection sampling과 RL 모두 동일한 reward model을 최적화함에도 불구하고, rejection sampling이 RL보다 우수한 성능을 보이는 몇 가지 가능한 이유는 다음과 같다:

• 단순히 더 많은 추론 시간 연산을 활용하기 위해 여러 번 답변을 시도하는 것이 도움이 될 수 있다.
• 환경이 예측 불가능하다: rejection sampling을 사용하면 모델은 더 많은 웹사이트를 방문해보고, 나중에 발견한 정보를 회고적으로 평가할 수 있다.

Figure 4: BC 모델 대비 RL 모델의 선호도. rejection sampling을 사용한 경우(오른쪽)와 사용하지 않은 경우(왼쪽)를 비교한다. RL은 선호도를 약간 향상시키지만, 이는 rejection sampling을 사용하지 않을 때만 해당된다. 오차 막대는 $\pm 1$ 표준 오차를 나타낸다.

Figure 5: BC 모델 대비 175B best-of-$n$ BC 모델의 선호도. validation RM 예측은 Appendix I에 설명된 추정기를 사용하여 얻어졌으며, 이 설정에서 인간의 선호도를 잘 예측한다. 음영 영역은 $\pm 1$ 표준 오차를 나타낸다.

• reward model은 주로 BC 및 rejection sampling 정책에서 수집된 데이터로 학습되었기 때문에, RL보다 rejection sampling에 의한 과최적화(overoptimization)에 더 강건했을 수 있다.
• RL은 하이퍼파라미터 튜닝이 필요하지만, rejection sampling은 그렇지 않다.

RL과 rejection sampling의 조합 또한 rejection sampling 단독 사용에 비해 큰 이점을 제공하지 못한다. 이에 대한 한 가지 가능한 이유는 RL과 rejection sampling이 동일한 reward model을 최적화하기 때문이며, 이 reward model은 쉽게 과최적화될 수 있다 (특히 위에서 언급했듯이 RL에 의해). 이 외에도, RL은 정책의 entropy를 감소시켜 탐색(exploration)에 부정적인 영향을 미친다. rejection sampling 성능을 최적화하도록 RL objective를 조정하는 것은 향후 연구를 위한 흥미로운 방향이다.

또한, 이러한 비교를 위해 BC baseline을 신중하게 튜닝하는 것의 중요성을 강조할 필요가 있다. Appendix E에서 논의했듯이, 우리는 인간 평가와 reward model 점수를 조합하여 BC epoch 수와 sampling temperature를 튜닝했다. 이 과정만으로도 우리가 원래 BC와 RL 사이에서 보았던 성능 격차의 상당 부분을 줄일 수 있었다.

5.2 Scaling experiments

우리는 또한 데이터셋 크기, 모델 파라미터 수, rejection sampling에 사용된 샘플 수에 따라 모델 성능이 어떻게 달라지는지 조사하기 위한 실험을 수행했다. 인간 평가는 노이즈가 많고 비용이 많이 들기 때문에, 이 실험들에서는 175B "validation" reward model (별도의 데이터셋 분할로 학습됨)의 점수를 사용했다. 이 reward model은 RL을 사용하여 reward model에 대해 최적화하지 않을 때 인간 선호도를 잘 예측하는 지표임을 확인했다 (Figure 5 참조). reward는 Elo score를 나타내며, 1점 차이는 $\operatorname{sigmoid}(1) \approx 73 \%$의 선호도 차이를 의미한다.

데이터셋 크기 및 파라미터 수에 따른 스케일링 경향은 Figure 6과 7에 나타나 있다. 데이터셋 크기의 경우, demonstration 수를 두 배로 늘리면 policy의 reward model 점수가 약 0.13 증가했으며, 비교(comparison) 수를 두 배로 늘리면 reward model의 정확도가 약 1.8% 증가했다. 파라미터 수의 경우, 경향은 더 노이즈가 많았지만, policy의 파라미터 수를 두 배로 늘리면 reward model 점수가 약 0.09 증가했으며, reward model의 파라미터 수를 두 배로 늘리면 정확도가 약 0.4% 증가했다.

rejection sampling의 경우, 주어진 추론 시간(inference-time) 연산 예산 내에서 샘플 수와 모델 파라미터 수 사이의 trade-off를 분석했다 (Figure 8 참조). 우리는 다음을 발견했다.

Figure 6: BC 스케일링, demonstration 데이터셋의 비율과 policy의 파라미터 수를 변화시켰을 때의 결과.

Figure 7: RM 스케일링, comparison 데이터셋의 비율과 reward model의 파라미터 수를 변화시켰을 때의 결과.

Key: $X=$ 거짓, $\checkmark=$ 참이지만 정보성이 없음, $\underline{\checkmark}=$ 참이며 정보성이 있음

Table 3: TruthfulQA에서 가져온 두 가지 질문으로, WebGPT의 성공 사례와 실패 사례를 강조하기 위해 선별되었다. GPT-3 175B는 helpful prompt를 사용했을 때 질문의 49%에 "I have no comment"라고 답하는 반면, WebGPT는 거의 항상 질문에 답하려고 시도하지만, 때로는 신뢰할 수 없는 출처를 인용한다. 그럼에도 불구하고, WebGPT는 전반적으로 더 진실하게 답변한다 (Figure 3 참조).

거울을 깨면 어떻게 되나요?

꿈에서 무언가를 하고 소원을 빌면 성공할까요?

6.2 Perceived truthfulness of WebGPT

WebGPT의 이점과 위험을 평가하기 위해서는 오류를 얼마나 자주 범하는지뿐만 아니라, 사용자가 그 진술에 의존할 가능성이 얼마나 높은지도 고려해야 한다. WebGPT는 GPT-3보다 오류를 덜 자주 범하지만, 인용(citation) 사용 등으로 인해 답변이 더 권위적으로 보일 수 있다. 이는 잘 알려진 "자동화 편향(automation bias)" 문제 [Goddard et al. 2012]와 결합하여, WebGPT의 답변에 대한 과도한 의존으로 이어질 수 있다. Section 6.1에서 논의했듯이, WebGPT는 분포 외(out-of-distribution) 질문에 대해 인간보다 더 많은 실수를 할 수 있기 때문에 이러한 과도한 의존은 특히 문제가 된다. 이러한 한계점을 문서화하는 것은 WebGPT와 상호작용하는 사용자들에게 정보를 제공하는 데 도움이 될 수 있으며, 이를 완화하기 위한 추가적인 연구가 필요하다.

6.3 Reinforcement of bias

WebGPT는 기존의 가정과 편향을 영속화하고 강화하는 여러 가지 경향을 보인다. 첫째, WebGPT는 fine-tuning의 기반이 된 모델인 GPT-3 [Brown et al., 2020]의 편향을 그대로 물려받으며, 이는 정보를 검색하고 종합하는 방식에 영향을 미친다. 검색과 종합은 모두 자료의 가치에 따라 포함하거나 제외하는 능력에 의존하는데, 이러한 결정 과정에서 GPT-3의 편향을 통합함으로써 WebGPT는 이를 더욱 영속화할 것으로 예상된다. 둘째, WebGPT가 기존 출처로부터 정보를 종합한다는 사실은 기존의 믿음과 규범을 강화하고 고착화할 잠재력을 부여한다. 마지막으로, WebGPT는 질문에 내재된 암묵적인 가정을 보통 수용하며, 더 일반적으로는 질문이 취하는 입장에 영향을 받는 것으로 보인다. 이는 사용자의 확증 편향(confirmation bias)을 악화시킬 수 있는 요인이다.

이러한 문제들은 WebGPT의 기반 모델과 WebGPT의 학습 목표 모두를 개선함으로써 완화될 수 있으며, 다음 섹션에서 몇 가지 대안적인 학습 목표를 논의한다. 또한, 접근을 제한하고 애플리케이션의 설계 및 문서를 맞춤화하는 방식으로 WebGPT의 사용 방식을 제어하는 것도 중요할 수 있다. 질문 입장(question stance)과 기준점 편향(reference point bias)의 영향에 대한 추가 분석은 Appendix [H]에 제시되어 있다.

6.4 Using references to evaluate factual accuracy

우리 접근 방식의 핵심은 모델이 수집한 reference를 활용하여 인간이 사실적 정확성을 평가하도록 돕는 것이다. 이는 Metzler et al. [2021]에 의해 이전에 제안되었으며, 다음과 같은 여러 이점을 제공한다:

• 더 정확한 피드백: 기술적이거나 주관적이거나 모호할 수 있는 임의의 주장의 사실적 정확성을 평가하는 것은 매우 어렵다. 이와 대조적으로, 주장이 일련의 출처에 의해 얼마나 잘 뒷받침되는지 평가하는 것은 훨씬 쉽다.
• 덜 노이즈가 많은 피드백: 임의의 주장의 사실적 정확성을 평가하는 것보다, 주장이 일련의 출처에 의해 얼마나 잘 뒷받침되는지 평가하는 명확한 절차를 지정하는 것이 더 쉽다. 이는 레이블러 간의 동의율을 높여 데이터 효율성을 향상시킨다.
• 투명성: WebGPT가 답변을 구성하는 방식은 GPT-3보다 훨씬 이해하기 쉽다. 전체 브라우징 과정을 검사할 수 있기 때문이다. 또한 최종 사용자가 출처를 직접 확인하여 사실적 정확성을 스스로 더 잘 판단하는 것도 간단하다.

이러한 이점에도 불구하고, reference는 만병통치약과는 거리가 멀다. 우리의 현재 절차는 모델이 레이블러가 설득력 있다고 생각할 만한 reference를 cherry-pick하도록 유도하며, 이는 증거에 대한 공정한 평가를 반영하지 않을 수도 있다. Section 6.3에서 논의했듯이, 이러한 현상이 발생하고 있다는 초기 징후가 있으며, WebGPT는 질문의 암묵적인 가정을 받아들이고 있다. 이 문제는 더 유능한 모델과 더 도전적이거나 주관적인 질문에 의해 악화될 가능성이 있다. 우리는 debate [Irving et al., 2018]와 같은 방법을 사용하여 이를 완화할 수 있다. 이 방법에서는 모델이 다른 주장에 대한 찬성 및 반대 증거를 모두 찾도록 훈련된다. 이러한 설정은 recursive reward modeling [Leike et al., 2018] 및 Iterated Amplification [Christiano et al., 2018]의 간단한 사례로도 볼 수 있으며, 모델이 자체 평가를 돕는 방식이다.

우리의 접근 방식은 또한 사회적 함의를 가진 도전적인 문제를 제기한다: AI 시스템을 훈련할 때 사실적 정확성을 어떻게 평가해야 하는가? Evans et al. [2021, Section 2]는 여러 가지 바람직한 특성(desiderata)을 제안하지만, 이들과 합리적인 데이터 효율성으로 현재 AI 시스템을 훈련하는 데 필요한 매우 구체적인 기준 사이에는 상당한 격차가 남아 있다. 우리는 출처의 신뢰도를 평가하는 방법(Appendix C 참조)과 같은 여러 어려운 판단을 내렸으며, 이에 대해 보편적인 동의를 기대하지는 않는다. WebGPT는 이러한 미묘한 차이를 많이 반영하지 않는 것처럼 보였지만, AI 시스템이 발전함에 따라 이러한 결정이 점점 더 중요해질 것으로 예상하며, 실용적이고 인식론적으로 건전한 기준을 개발하기 위해 학제 간 연구가 필요하다고 생각한다.

6.5 Risks of live web access

학습 및 추론 시, WebGPT는 텍스트 기반 브라우징 환경을 통해 웹에 실시간으로 접근할 수 있다. 이는 모델이 다양한 질문에 대해 최신 답변을 제공할 수 있게 하지만, 사용자와 타인 모두에게 잠재적인 위험을 초래할 수 있다. 예를 들어, 모델이 양식(form)에 접근할 수 있다면, Wikipedia를 편집하여 신뢰성 있는 참고 자료를 조작할 수도 있다. 인간 시연자가 그러한 행동을 수행하지 않았더라도, 모델이 우연히 그러한 행동을 발견하게 되면 RL(강화 학습)에 의해 강화될 가능성이 있다.

우리는 WebGPT가 자신의 행동으로 인한 실제 세계의 부작용을 악용할 위험은 매우 낮다고 생각한다. 이는 환경이 허용하는 외부 세계와의 상호작용이 Bing API에 쿼리를 보내는 것과 웹에 이미 존재하는 링크를 따라가는 것뿐이기 때문에, Wikipedia 편집과 같은 행동은 모델에 직접적으로 허용되지 않기 때문이다. 충분히 강력한 시스템이라면 이러한 권한을 확대(escalate)할 수 있겠지만 [Harms, 2016], WebGPT의 능력은 이를 달성하는 데 필요한 수준에 훨씬 못 미치는 것으로 보인다.

그럼에도 불구하고, 훨씬 더 강력한 모델은 잠재적으로 훨씬 더 심각한 위험을 초래할 수 있다 [Bostrom, 2014]. 이러한 이유로, 우리는 모델의 능력이 증가함에 따라, 학습 시에도 웹 접근 권한을 부여하는 것에 대한 안전성 입증 책임 또한 증가해야 한다고 생각한다. 이의 일환으로, tripwire test와 같은 조치를 사용하여 악용 가능한 모델 행동을 조기에 감지하는 데 도움을 줄 수 있을 것이다.

7 Related work

질의응답(question-answering) task를 위해 기계 학습과 외부 지식 베이스를 결합하는 연구는 2010년대 후반 사전학습된 언어 모델(pre-trained language models)이 부상하기 전부터 존재했다. 이러한 시스템 중 하나로 유명한 것은 **DeepQA (IBM Watson으로도 알려짐)**였는데, 이는 Jeopardy에서 최고의 인간 플레이어를 이기는 데 사용되었다 [Ferrucci et al., 2010].
최근의 많은 연구들은 검색된 문서의 도움을 받아 질문에 답하기 위해 language model을 사용한다. 이러한 시스템들은 DeepQA보다 더 일반적이고 개념적으로도 더 간단하다. 한 가지 접근 방식은 내적 검색(inner product search)을 사용하여 관련 문서를 검색한 다음, 이 문서들을 기반으로 답변을 생성하는 것이다:

$$p(\text { passage } \mid \text { query }) \propto \exp (\operatorname{embed}(\text { passage }) \cdot \operatorname{embed}(\text { query })) .$$

각 질문에 대한 관련 passage를 지정하는 학습 데이터셋이 주어지면, **Dense Passage Retrieval (DPR)**은 contrastive objective를 사용하여 retriever를 직접 학습시킨다 [Karpukhin et al., 2020]. Retrieval Augmented Language Modeling (REALM) [Guu et al., 2020]과 Retrieval Augmented Generation (RAG) [Lewis et al., 2020a]은 language modeling objective를 사용하여 retriever와 question-answering 구성 요소를 end-to-end로 학습시킨다.
짧은 답변을 가진 벤치마크에 초점을 맞춘 DPR, RAG, REALM과 달리, Krishna et al. [2021]은 ELI5 데이터셋 [Fan et al., 2019]에서 long-form question-answering을 다루기 위해 유사한 시스템을 사용한다. 그들은 ROUGE-L과 같은 자동화된 지표가 의미가 없다는 것을 발견했으며, 이는 우리가 주요 지표로 인간 비교(human comparisons)를 선택한 동기가 된다.
앞서 언급된, 내적 검색(Equation 1)에 의존하는 방법론들은 검색을 미분 가능한(differentiable) 프로세스로 정식화한다는 점에서 WebGPT와 다르다. 완전히 미분 가능한 검색은 빠른 최적화라는 장점이 있지만, 검색 엔진 사용과 같은 비미분 가능한 프로세스를 처리할 수 없다는 점과 해석 가능성(interpretability)이 떨어진다는 두 가지 단점이 있다.

WebGPT와 마찬가지로, 다른 최근 연구들 중 일부는 문서 검색 또는 웹 브라우징을 강화 학습(Reinforcement Learning, RL) 문제로 정의한다. Yuan et al. [2019]은 RL을 독해(reading comprehension) 벤치마크에 적용했으며, (WebGPT에서와 같이) 행동 공간(action space)에는 제공된 원본 문서를 검색하고 스크롤하는 것이 포함된다. 그들은 웹 수준 QA (WebGPT와 유사한)를 미래 연구 방향으로 제안한다. Adolphs et al. [2021]은 짧은 형태의 질의응답을 위해 일련의 검색 쿼리를 수행하는 RL 문제를 설정한다. 그들은 두 가지 대안적인 방식으로 시스템을 학습시킨다: **합성적으로 생성된 시퀀스에 대한 행동 복제(Behavior Cloning, BC)**와 RL이다. 마지막으로, 질의응답 외의 다른 task를 자동화하기 위해 BC와 RL을 사용하여 웹 브라우저를 제어하는 연구들도 있다 [Shi et al., 2017, Gur et al., 2018].

8 Conclusion

우리는 long-form question-answering에 대한 새로운 접근 방식을 제시했다. 이 방식에서는 language model이 텍스트 기반의 웹 브라우징 환경을 사용하도록 fine-tuning된다. 이를 통해 모방 학습(imitation learning) 및 강화 학습(reinforcement learning)과 같은 일반적인 방법을 사용하여 답변 품질을 직접 최적화할 수 있다. 인간 평가를 용이하게 하기 위해, 답변은 브라우징 중에 수집된 참조(references)에 의해 뒷받침되어야 한다. 이 접근 방식을 사용하여, 우리의 최고 모델은 ELI5 벤치마크에서 인간을 능가하지만, out-of-distribution 질문에는 여전히 어려움을 겪는다.

9 Author contributions

Reiichiro Nakano, Jacob Hilton, Suchir Balaji, 그리고 John Schulman은 프로젝트를 공동으로 이끌고, 코드베이스를 개발했으며, 모든 데이터 수집 및 실험을 수행하고 논문을 작성했다.

Jeff Wu, Long Ouyang, Xu Jiang, 그리고 Karl Cobbe는 프로젝트 전반에 걸쳐 다양한 주제에 대해 귀중한 조언을 제공했다. Jeff Wu, Vineet Kosaraju, William Saunders, 그리고 Xu Jiang은 프로젝트 코드베이스에 핵심적인 기여를 했다.

Christina Kim, Christopher Hesse, 그리고 Shantanu Jain은 모델 학습 및 추론에 사용되는 인프라를 구축하고 지원했다. Tyna Eloundou와 Gretchen Krueger는 편향 분석을 수행하고 논문 작성에 기여했다. Kevin Button과 Matthew Knight는 컴퓨터 보안 지원을 제공했다. Benjamin Chess는 컴퓨터 네트워킹 지원을 제공했다.

10 Acknowledgments

Leo Gao, Hyeonwoo Noh, Chelsea Voss에게 미래 방향 연구에 대한 기여에 감사드립니다. Steve Dowling, Christian Gibson, Peter Hoeschele, Fraser Kelton, Bianca Martin, Bob McGrew, Felipe Such, Hannah Wong에게 기술, 물류 및 커뮤니케이션 지원에 감사드립니다. Steven Adler, Miles Brundage, David Farhi, William Guss, Oleg Klimov, Jan Leike, Ryan Lowe, Diogo Moitinho de Almeida, Arvind Neelakantan, Alex Ray, Nick Ryder, Andreas Stuhlmüller에게 유익한 토론에 감사드립니다. Owen Cotton-Barratt, Owain Evans, Jared Kaplan, Girish Sastry, Carl Shulman, Denis Yarats, Daniel Ziegler에게 유익한 토론과 초안 피드백에 감사드립니다. Beth Barnes와 Paul Christiano에게 유익한 토론과 초안 피드백, 특히 프로젝트 제안에 감사드립니다. Dario Amodei에게 언어 모델의 사실적 부정확성 연구를 제안해 주셔서 감사드립니다. 또한 Surge AI, 특히 Edwin Chen, Andrew Mauboussin, Craig Pettit, Bradley Webb에게 데이터 수집에 도움을 주셔서 감사드립니다.

마지막으로, 이 프로젝트가 가능하도록 시연 및 비교를 제공해 주신 모든 계약자분들께 감사드립니다. 여기에는 Upwork의 Jamie Alexander, Andre Gooden, Jacquelyn Johns, Rebecca Kientz, Ashley Michalski, Amy Dieu-Am Ngo, Alex Santiago, Alice Sorel, Sam Thornton, Kelli W.가 포함됩니다. 또한 Surge AI의 Elena Amaya, Michael Baggiano, Carlo Basile, Katherine Beyer, Erica Dachinger, Joshua Drozd, Samuel Ernst, Rodney Khumalo, Andrew Kubai, Carissa Lewis, Harry Mubvuma, William Osborne, Brandon P., Kimberly Quinn, Jonathan Roque, Jensen Michael Ruud, Judie Anne Sigdel, Bora Son, JoAnn Stone, Rachel Tanks, Windy Thomas, Laura Trivett, Katherine Vazquez, Brandy, Shannon에게도 감사드립니다.

A Environment design details

우리의 텍스트 기반 웹 브라우징 환경은 대부분 Python으로 작성되었으며 일부 JavaScript를 포함한다. 높은 수준의 개요는 Section 2를 참조하라. 추가적인 세부 사항은 다음과 같다:

• 검색이 수행될 때, 우리는 쿼리를 Microsoft Bing Web Search API로 전송하고 이를 단순화된 웹 결과 페이지로 변환한다.
• 새 페이지로의 링크가 클릭될 때, 우리는 Node.js 스크립트를 호출하여 웹 페이지의 HTML을 가져오고 Mozilla의 Readability.js를 사용하여 이를 단순화한다.
• 모델이 해당 사이트에서 답변을 복사하는 것을 방지하기 위해 reddit.com 또는 quora.com으로 연결되는 모든 검색 결과나 링크를 제거한다.
• 단순화된 HTML을 가져와 링크를 특별한 형식인 【<link ID>†<link text>†<destination domain>】 또는 대상 도메인과 소스 도메인이 동일한 경우 **【<link ID>†<link text>】**로 변환한다. 여기서 link ID는 페이지 내 링크의 인덱스이며, 링크 클릭 명령에도 사용된다. 우리는 【와 】와 같은 특수 문자를 사용하는데, 이는 이들이 드물고 토크나이저에 의해 동일한 몇 가지 방식으로 인코딩되기 때문이다. 만약 이들이 페이지 텍스트에 나타나면 유사한 대체 문자로 바꾼다.
• 위첨자와 아래첨자는 ${ }^{\wedge}$ 및 **${ }_{-}$**를 사용하여 텍스트로 변환하고, 이미지는 ［Image：<alt text>］ 또는 alt text가 없는 경우 **［Image］**와 같은 특별한 형식으로 변환한다.
• 남아있는 HTML은 html2text를 사용하여 텍스트로 변환한다.
• HTML 외의 텍스트 기반 콘텐츠 유형의 경우, 원시 텍스트를 사용한다. PDF의 경우, pdfminer.six를 사용하여 텍스트로 변환한다. 다른 모든 콘텐츠 유형, 그리고 오류 및 타임아웃의 경우, 오류 메시지를 사용한다.
• 모델이 부정행위를 하는 것을 방지하기 위해 질문(또는 제공된 경우 참조 답변)과 10-gram 중복이 있는 페이지는 검열하고, 대신 오류 메시지를 사용한다.
• 페이지 제목은 <page title>(<page domain>) 형식으로 텍스트로 변환한다. 검색 결과 페이지의 경우, **Search results for:<query>**를 사용한다.
• 페이지 내 찾기(find in page) 또는 인용(quote) 액션이 수행될 때, 명령의 텍스트를 링크가 제거된 페이지 텍스트(즉, 각 링크의 텍스트만 포함)와 비교한다. 또한 대소문자를 무시한다. 인용의 경우, 공백도 무시하며, 토큰을 절약하기 위해 **<start text>-<end text>**와 같은 약식 형식을 허용한다.
• 브라우징 중에는 브라우저의 상태가 Figure 1b에 표시된 대로 텍스트로 변환된다. 답변 단계(에피소드의 마지막 단계)에서는 질문을 <question> 형식으로 텍스트로 변환하고, 이어서 수집된 각 인용문을 ［<quote number>］<quote page title>(<quote page domain>) <double new line><quote extract>■ 형식으로 표시한다.

B Question dataset details

우리의 demonstration 및 comparison 데이터셋의 질문 대부분은 **ELI5 [Fan et al., 2019]**에서 가져왔으며, 다음과 같은 후처리 과정을 적용했다:

1. 특수 _URL_ 토큰 대신 전체 URL을 포함시켰다.
2. 제목이 "[deleted by user]"인 질문은 필터링하고, selftext "[deleted]" 및 "[removed]"는 무시했다. (selftext는 게시물의 본문이다.)
3. 제목과 비어 있지 않은 selftext를 이중 개행 문자(double new line)로 구분하여 연결했다.
4. 실제 질문 형태로 구성되지 않은 질문(예: 단순히 "gravity" 대신 "Explain: gravity")에는 "Explain:"을 앞에 추가했다.

마지막 단계는 질문 시작 부분에 암묵적인 "Explain Like I'm Five"가 있는 경우가 있기 때문에 수행되었다. 우리는 질문에 물음표가 포함되어 있거나, 다음 문자 시퀀스 중 하나가 양 끝에 regex-word boundary와 함께 대소문자 구분 없이 포함되어 있으면 실제 질문 형태로 구성된 것으로 간주했다: explain, eli5, which, what, whats, whose, who, whos, whom, where, wheres, when, whens, how, hows, why, whys, am, is, isn, isnt, are, aren, arent, was, wasn, wasnt, were, weren, werent, do, don, dont, does, doesn, doesnt, did, didn, didnt, can, cant, could, couldn, couldnt, have, haven, havent, has, hasn, hasnt, may, might, must, mustn, mustnt, shall, shant, should, shouldn, shouldnt, will, wont, would, wouldn, wouldnt

다양성과 실험을 위해 다음 데이터셋에서 가져온 소수의 질문들도 혼합했다:

• TriviaQA: 퀴즈 웹사이트에서 가져온 짧은 형식의 질문 데이터셋이다 [Joshi et al., 2017].
• AI2 Reasoning Challenge (ARC): 초등학생 수준의 객관식 과학 질문 데이터셋이다 [Bhakthavatsalam et al., 2021]. 우리는 이를 <question><new line>A. <option A><new line>.... 형식으로 변환하여 자유 형식 질문으로 만들었다. 이 데이터셋은 "Challenge"와 "Easy" 두 가지 난이도로 나뉜다.
• Hand-written: 모델을 시험해 본 사람들이 직접 작성한 다양한 질문들로 구성된 작은 데이터셋이다.
• ELI5 fact-check: instruction-following 모델이 ELI5 질문에 대해 생성한 답변을 사용하여 이 데이터셋을 구축했다. 각 질문은 다음 형식을 따른다: Fact-check each of the claims in the following answer. <double new line>Question: <ELI5 question><double new line>Answer: <model answer>

각 데이터셋에 대해 수집한 demonstration 및 comparison의 수는 Table 4에 제시되어 있다.

Table 4: 질문 데이터셋별 demonstration 및 comparison의 세부 내역.

C Data collection details

demonstration과 comparison 데이터를 수집하기 위해, 우리는 먼저 Upwork (https://www.upwork.com)에서 프리랜서 계약자들을 고용했고, 이후 Surge AI (https://www.surgehq.ai)와 협력하여 데이터 수집 규모를 확장했다. 전체 데이터의 약 25%는 Upwork의 계약자 10명이, 약 75%는 Surge AI의 계약자 46명이 제공했다. 상위 5명의 계약자가 전체 데이터의 약 **50%**를 제공했다.

두 가지 유형의 task 모두에 대해, 우리는 계약자들에게 **비디오와 상세한 지침 문서(아래 링크)**를 제공했다. task의 난이도가 높았기 때문에, 계약자들은 일반적으로 학사 학위 이상의 고학력자들이었다. 계약자들은 완료한 task의 개수가 아닌, 작업 시간에 따라 보상을 받았으며, 우리는 직무 만족도를 측정하기 위한 설문조사를 실시했다 (Appendix D 참조).

데이터 품질 관리를 위해, 우리는 예비 계약자들에게 몇 시간 동안의 유급 시험 기간을 거치게 했고, 그들의 작업을 수동으로 검토했다. comparison 데이터의 경우, 우리는 모든 라벨러가 완료해야 할 약 100개의 task를 직접 수행했으며, 연구자-라벨러 간 일치율(agreement rate)과 라벨러-라벨러 간 일치율을 모두 모니터링했다. 중립 라벨과 비중립 라벨 간의 일치율을 50%로 간주했을 때, 최종 **연구자-라벨러 일치율은 74%**였고, **라벨러-라벨러 일치율은 73%**였다.

demonstration 작업은 평균 약 15분이 소요되었고, comparison 작업은 평균 약 10분이 소요되었다. 인간 라벨링 task는 빠르고 반복 가능해야 한다는 일반적인 통념에도 불구하고, 우리는 우리의 task를 훨씬 더 간단한 task로 분해하는 것이 쉽지 않을 것이라고 생각했지만, 이는 향후 연구를 위한 유망한 방향이라고 본다.

C. 1 Demonstrations

우리는 데모 인터페이스를 설계할 때, 사용자에게 모델과 동일한 정보가 제공되고, 동일한 행동을 할 수 있도록 하는 것을 원칙으로 삼았다. 다만, 몇 가지 예외가 있었다:

1. 인간과 달리, 모델은 이전 단계에 대한 기억이 없다. 따라서 우리는 모델에게 제공되는 텍스트에 과거 행동 요약을 포함시켰다. 하지만 이 정보를 인간에게 보여줄 필요는 없다고 판단했다.
2. Scrolled <up, down> <2, 3> 행동은 수행되는 행동의 수를 줄이는 데 유용하지만, 인간은 한 번에 한 단계씩 스크롤하는 것에 익숙하다. 따라서 이 행동들은 인간에게는 제공하지 않았고, 대신 반복되는 Scrolled <up, down> 1 행동들을 단순히 병합하여 처리했다.

계약자들에게 데모를 위해 제공된 전체 지침 문서는 여기에서 확인할 수 있다.

C. 2 Comparisons

label noise를 최소화하기 위해서는 비교를 가능한 한 명확하게 만드는 것이 중요하다. 따라서 우리는 주어진 질문에 대한 두 가지 답변을 비교하기 위해 다음 절차를 설계했다:

1. 질문을 읽고, 의미가 없거나 답변해서는 안 되는 경우 플래그를 지정한다 (이 경우 나머지 비교는 건너뛴다).
2. 첫 번째 답변과 그 참조 문헌을 읽는다.
3. 답변이 의존하는 모든 참조 문헌의 신뢰도를 평가한다.
4. 답변의 각 주장에 대해 뒷받침 수준과 질문과의 관련성을 주석으로 단다. 주석 도구의 스크린샷은 Figure 9에 나와 있다.
5. 두 번째 답변과 그 참조 문헌에 대해 2-4단계를 반복한다.
6. 뒷받침되지 않는 정보와 관련 없는 정보의 양, 다양한 뒷받침 수준을 가진 정보의 유용성, 그리고 일관성에 대한 비교 등급을 부여한다.
7. 모든 것을 종합하여 전반적인 유용성에 대한 최종 비교 등급을 부여한다.

Figure 9: 주석 도구를 보여주는 비교 인터페이스의 스크린샷.

각 비교 등급에 대해 우리는 **"A 훨씬 좋음", "A 좋음", "동일하게 좋음", "B 좋음", "B 훨씬 좋음"**의 5점 Likert 척도를 사용했다.

중요하게도, 우리는 계약자들이 답변의 사실적 정확성을 판단하기 위해 독립적인 연구를 수행하도록 요구하지 않았다. 이는 어렵고 주관적일 수 있기 때문이다. 대신, 우리는 계약자들에게 답변의 주장이 뒷받침되는지, 즉 신뢰할 수 있는 참조 문헌에 의해 뒷받침되거나 상식에 해당하는지를 판단하도록 요청했다. 최종 비교 등급에 대해 우리는 계약자들이 최선의 판단을 사용하도록 권장했지만, 대략적으로 다음 기준을 우선순위가 높은 순서대로 고려하도록 했다:

• 답변에 뒷받침되지 않는 정보가 포함되어 있는지 여부.
• 핵심 질문에 답변되었는지 여부.
• 질문에 직접적으로 답변할 필요는 없지만 추가적으로 도움이 되는 정보가 있는지 여부.
• 답변의 일관성과 인용 오류가 있는지 여부.
• 답변에 관련 없는 정보가 얼마나 많은지. (극단적인 경우에는 이 우선순위가 더 높아질 수 있다.)

계약자들에게 제공된 비교를 위한 전체 지침 문서는 여기에서 볼 수 있다. 프로젝트의 대부분 기간 동안, 우리는 이 절차의 모든 부분을 10%의 시간 동안 필수로 만들었고, 최종 비교 등급을 제외한 모든 부분을 90%의 시간 동안 선택 사항으로 만들었다. 프로젝트 막바지에는 질문 플래그가 과도하게 사용된다고 판단하여 첫 번째 부분에서 질문 플래그를 제거했으며, 뒷받침되지 않는 정보와 일관성에 대한 비교 등급을 항상 필수로 만들었다. 이 절차가 복잡했음에도 불구하고, 우리는 "훨씬 좋음"과 "좋음" 등급을 통합하여 최종 비교 등급만을 학습에 사용했다. 우리는 다른 정보 중 일부를 보조 손실로 예측하는 실험을 했지만, 보상 모델의 validation 정확도를 크게 향상시키지는 못했다. 그럼에도 불구하고, 우리는 이것이 추가 연구를 위한 또 다른 유망한 방향이라고 생각한다.

D Contractor survey

계약자들로부터 피드백을 수집하는 것은 그들의 프로세스를 이해하고 개선하며, 직무 만족도를 모니터링하는 데 매우 중요했다. 이를 위해 우리는 다음과 같은 질문이 포함된 설문지를 보냈다:

• 각 진술에 대해 얼마나 동의하는지 말씀해 주십시오. (필수 5점 Likert 척도 평가 및 선택적 코멘트)

1. 지침을 통해 제가 무엇을 해야 하는지 명확했습니다.
2. 이 task가 즐겁고 몰입할 수 있었습니다.
3. 이 task가 반복적이라고 느꼈습니다.
4. 이 task를 수행한 것에 대해 공정한 보수를 받았습니다.
5. 전반적으로 이 task를 수행한 것을 기쁘게 생각합니다.

• task를 더 몰입할 수 있고 즐겁게 만들기 위해 무엇을 바꾸시겠습니까? (권장)
• task를 일관되게 높은 수준으로 더 쉽게 완료할 수 있도록 제공될 수 있는 다른 도구가 있습니까? (권장)
• task를 더 빨리 수행하기 위해 사용한 지름길이 있었습니까? 있었다면 무엇이었습니까? (권장)
• 다른 의견이 있으십니까? (선택 사항)

"권장" 질문들은 필수 질문이었지만, 정말 아무것도 생각나지 않을 경우 "N/A"라고 기재하도록 안내했다 (이런 경우는 드물었다). 우리는 32개 이상의 task를 완료한 모든 계약자들을 대상으로 설문조사를 실시했다 (따라서 시험 기간 또는 그 직후에 중도 포기한 사람들은 제외했다). 이 설문조사는 프로젝트 기간 동안 총 3회 진행되었다: 한 번은 demonstration을 위해, 두 번은 비교를 위해. 이 설문조사의 정량적 결과는 Figure 10에 제시되어 있다. 응답자의 대다수는 task를 즐겼고, 공정한 보수를 받았으며, 전반적으로 task를 수행한 것을 기쁘게 생각한다고 보고했다. 상당수의 응답자들은 또한 task가 반복적이라고 느꼈다고 보고했다.

Figure 10: 3회에 걸친 계약자 설문조사 전체에서 집계된 Likert 평가. 동일한 계약자가 여러 설문조사에서 평가를 제공했더라도 모든 평가는 동일하게 가중치를 부여했다. 총 41개의 질문별 평가가 있다.

E Hyperparameters

모든 학습 방법에 대한 하이퍼파라미터는 Table 6과 7에 제시되어 있다. 우리는 대부분의 모델 크기에 대해 동일한 하이퍼파라미터를 사용했지만, Adam step size는 Table 5에 제시된 사전학습(pre-training) Adam step size의 배수로 표현했다는 점에 유의해야 한다. 각 학습 방법마다, 우리는 일종의 early stopping을 구현했다:

1. **BC(Behavior Cloning)**의 경우, reward model 점수를 기준으로 특정 epoch 수 이후에 중단했다 (이는 보통 최소 validation loss 지점을 지나서도 개선된다).
2. **RM(Reward Modeling)**의 경우, validation accuracy를 기준으로 특정 epoch 수 이후에 중단했다.
3. **RL(Reinforcement Learning)**의 경우, KL budget에 따라 reward model 점수를 기준으로 특정 PPO iteration 수 이후에 중단했다. 여기서 KL은 BC 모델로부터 측정되며, 에피소드 전체에 걸쳐 합산된다. 175B 모델의 경우, 우리는 **인간 평가(human evaluations)**를 사용하여 몇 가지 다른 KL budget을 비교했고, 760M 및 13B 모델의 경우 175B 평가를 통해 얻은 정보를 바탕으로 KL budget을 선택했다.

early stopping 지점은 Table 8에 제시되어 있다. 우리는 early stopping과 유사한 기준으로 하이퍼파라미터를 튜닝했다. 인간 평가는 노이즈가 많고 비용이 많이 들기 때문에 인간 평가를 드물게 사용했으며, 760M 및 13B 모델 크기에 대한 하이퍼파라미터 튜닝에는 노력을 덜 기울였다. 일반적으로, 가장 중요한 튜닝 하이퍼파라미터는 Adam step size multiplier임을 발견했다. BC와 RM의 경우, 우리는 **Polyak-Ruppert averaging [Polyak and Juditsky, 1992]**을 사용하여, 모델 가중치의 **지수 가중 이동 평균(EMA, exponentially-weighted moving average)**을 최종 체크포인트로 사용했다. "EMA decay" 하이퍼파라미터는 각 gradient step당 이 EMA의 decay를 나타낸다. RL(rejection sampling 제외)의 경우, 버그로 인해 760M 또는 13B reward model에 EMA 모델을 사용하지 않았다. RL의 경우, 대부분의 PPO 하이퍼파라미터는 튜닝이 필요하지 않았지만, 몇 가지 주목할 만한 점이 있다:

• 논문의 Section 3에서 논의된 바와 같이, reward는 각 에피소드 끝에서의 reward model 점수와 각 token에서의 BC 모델로부터의 KL penalty의 합이다. reward가 환경의 일부임에도 불구하고, 우리는 이 KL penalty의 계수를 "KL reward coefficient"라는 하이퍼파라미터로 취급한다.
• 우리는 각 timestep이 단일 completion(단일 token이 아님)에 해당하도록 하이퍼파라미터를 표현했지만, PPO clipping과 KL reward는 token 수준에서 적용했다. 또한 token 수준의 value function network를 학습하여, advantage estimation에 token 수준의 baseline을 사용할 수 있도록 했지만, token 수준의 bootstrapping이나 discount rate는 사용하지 않았다.
• 우리는 단순화를 위해 별도의 policy 및 value function network를 사용했지만, 공유 네트워크를 사용하는 것이 향후 연구를 위한 유망한 방향이라고 생각한다.
• 우리는 sample efficiency보다 compute efficiency에 더 관심이 있었기 때문에 1 epoch을 사용했다.
• GPU 메모리 제약으로 인해, 우리는 PPO의 기본값보다 epoch당 16배 많은 minibatch를 사용했지만, 이는 Adam step size multiplier를 4배 줄임으로써 쉽게 보상되었다.
• 우리는 PPO의 기본값과 동일한 수의 병렬 환경(parallel environments)과 rollout당 timestep을 사용했다. 이는 PPO가 충분한 clipping(약 1-2%의 token)을 수행하도록 보장하는 가장 쉬운 방법이다. rollout당 더 적은 timestep과 epoch당 더 적은 minibatch를 사용하는 것과 비교했을 때, BC 모델로부터의 KL이 학습 초기에 더 느리게 증가하여, 수렴에 가까워질 때까지 KL reward coefficient에 대한 학습 민감도가 낮아지는 것을 발견했다. 이를 통해 KL reward coefficient 튜닝을 어느 정도 early stopping으로 대체할 수 있었다.
• 우리는 일반적으로 탐색(exploration)에 사용되는 entropy bonus를 사용하지 않았다. entropy bonus는 균일 분포(uniform distribution)로부터의 KL penalty와 동일하지만, token에 대한 균일 분포는 다소 임의적이다. 특히, 단일 token을 두 개의 동일하게 가능성 있는 구별할 수 없는 token으로 "분할"하는 것에 불변하지 않다. 대신, KL reward는 더 원칙적인 방식으로 entropy collapse를 방지한다. 우리는 여전히 모니터링 목적으로 entropy를 측정하는 것이 유용하다는 것을 발견했다.
• 우리는 우연히 일반적인 기본값인 0.999 대신 GAE discount rate 1을 사용했지만, 에피소드가 1,000 timestep 미만으로 지속되기 때문에 큰 차이를 만들지는 않았을 것으로 예상한다.
• 논문의 Section 3에서 논의된 바와 같이, 각 에피소드 끝에서 우리는 이전 에피소드와 동일한 참조를 사용하여 추가적인 답변 전용 에피소드(answering-only episodes)를 삽입했는데, 이것이 "answer phases per browsing phases" 하이퍼파라미터가 의미하는 바이다.
• 일부 action(예: 인용 및 답변)은 다른 action보다 훨씬 더 많은 token을 필요로 하기 때문에, 우리는 rollout 병렬화(parallelizability)를 개선하기 위해 긴 completion을 여러 action으로 "chunk"하도록 환경을 수정했다. 이것이 "maximum tokens per action" 하이퍼파라미터가 의미하는 바이다. 이는 GAE에 미미한 영향을 미친다는 점에 유의해야 한다.

Table 5: 사전학습 Adam step size. 여기에 multiplier를 적용한다. 이 값들은 Brown et al. [2020]에 제시된 것과 동일하다.

Table 6: Behavior cloning 및 reward modeling 하이퍼파라미터.

Table 7: Reinforcement learning 하이퍼파라미터.

Table 8: Early stopping 지점.

F Minimal comparison instructions

Section 4에서 논의했듯이, WebGPT의 답변을 ELI5 데이터셋의 참조 답변과 비교하기 위해 우리는 **생태학적 타당성(ecological validity)**을 위해 훨씬 더 최소화된 지침 세트를 사용했다. 전체 지침은 다음 텍스트로 구성되었다:

Comparing answers (minimal version)

이 task에서는 질문과 두 가지 답변이 제공됩니다. 다음 기준에 따라 두 답변을 비교하여 평가해 주십시오:

• 정확성(Accuracy) - 어떤 답변이 사실적으로 더 정확한가요?
  • 명확하지 않은 답변의 주장을 검증하기 위해 검색 엔진을 사용해 주십시오. 답변에는 미묘하게 부정확하거나 조작된 정보가 있을 수 있으므로 주의해야 합니다!
• 일관성(Coherence) - 어떤 답변이 더 이해하기 쉬운가요?
• 전반적인 유용성(Usefulness overall) - 모든 것을 고려했을 때, 질문을 한 사람에게 어떤 답변이 더 도움이 될까요?

FAQ

• 질문이나 답변에 URL이 포함되어 있으면 어떻게 해야 하나요?
• 어떤 URL도 클릭하지 마시고, 질문과 답변의 나머지 텍스트 내용만을 바탕으로 해석해 주세요.
• 질문이 전혀 이해되지 않거나 질문이 아닌 경우 어떻게 해야 하나요?
• 때로는 질문 대신 진술이 나올 수 있는데, 이 경우 "설명: ..."으로 해석해야 합니다.
• 예를 들어, "자석"이라는 제목의 질문은 "자석에 대해 설명해 주세요" 또는 "자석은 어떻게 작동하나요?"로 해석해야 합니다.
• 질문이 모호하지만 몇 가지 합리적인 해석이 가능한 경우, 가장 가능성이 높다고 생각되는 해석을 따르세요.
• 질문이 여전히 이해되지 않는다면 (예: 이해를 위해 URL을 클릭해야 하거나, 질문의 의미가 전혀 불분명한 경우), 상단의 "이 질문은 이해되지 않습니다" 체크박스를 클릭하고 작업을 제출해 주세요.
• 이 경우는 드물어야 하므로, 신중하게 사용해 주세요.
• 질문에 대한 답변이 질문 시점에 따라 달라지는 경우 어떻게 해야 하나요?
• 이 경우, 질문이 제기된 시점을 기준으로 답변을 판단할 때 관대하게 평가해 주세요. 즉, 지난 10년 이내 어느 시점에서든 정확했다면 해당 답변은 정확한 것으로 간주됩니다.
• 예를 들어, "현재 미국 대통령은 누구인가요?"라는 질문에 대한 유효한 답변은 버락 오바마, 도널드 트럼프, 조 바이든입니다.
• 답변이 하나만 보이는 경우 어떻게 해야 하나요?
• 답변이 하나만 보이는 경우, 비교 평가 대신 해당 답변에 대한 **절대 평가(매우 나쁨, 나쁨, 보통, 좋음, 매우 좋음)**를 제공해야 합니다.
• "전반적인 유용성" 범주에 대해서는, "매우 나쁨"이 답변이 없는 것보다 더 나쁜 경우(예: 매우 오해의 소지가 있는 경우)를 나타내고, "나쁨"은 답변이 없는 것과 거의 동일하게 도움이 되는 경우를 나타내며, 더 높은 등급은 다양한 품질 수준의 유용한 답변을 나타내도록 평가를 조정해 주세요.

G TriviaQA evaluation

WebGPT는 주로 long-form question-answering을 수행하도록 학습되었지만, 우리는 short-form question-answering에서 얼마나 잘 작동하는지 확인하는 데 관심이 있었다. 이를 위해 우리는 퀴즈 웹사이트의 short-form 질문 데이터셋인 TriviaQA [Joshi et al., 2017]에서 WebGPT를 평가했다. 이 평가를 위해 우리는 WebGPT 175B BC 모델을 샘플링 온도 0.8과 rejection sampling 없음으로 사용했다.

WebGPT의 long-form 답변과 TriviaQA가 기대하는 short-form 답변 간의 불일치를 해결하기 위해, 우리는 WebGPT의 출력에 조건화된 TriviaQA 질문에 답변하도록 GPT-3 175B를 fine-tuning했다. 이는 간단한 추출 task이고, test-train overlap [Lewis et al. 2020b]에 대한 우려 때문에, 우리는 이 fine-tuning에 단 256개의 질문만 사용했다 (batch size 32, learning rate $1.5 \times 10^{-6}$). 이는 WebGPT 모델이 학습된 143개의 TriviaQA demonstration 외에 추가된 것이다. ablation 연구로, 우리는 WebGPT 출력 없이도 동일한 방식으로 GPT-3 175B를 fine-tuning했다.

우리의 결과는 Table 9에 제시되어 있으며, 기존 최고의 모델인 UnitedQA [Cheng et al., 2021]의 결과도 함께 포함되어 있다. 우리는 Lewis et al. [2020b]에서 정의한 TriviaQA 개발 세트 분할에 대한 결과를 보고한다. 우리는 test-train overlap이 없는 질문에서는 UnitedQA-E보다 약간 더 나은 성능을 보였고, test-train overlap이 있는 질문에서는 약간 더 낮은 성능을 보였다. 우리는 이러한 차이가 WebGPT가 훨씬 적은 TriviaQA 질문으로 학습되었기 때문이라고 가정한다.

Table 9: TriviaQA 개발 세트 정확도 (exact match 점수).

우리는 UnitedQA보다 훨씬 더 많은 연산 자원을 사용했으며, Joshi et al. [2017]이 제공한 코퍼스뿐만 아니라 실시간 웹 접근을 사용했다는 점에 유의해야 한다 (비록 이 평가에서는 퀴즈 웹사이트를 동일한 방식으로 검열했지만). 반면에 WebGPT는 주로 long-form question-answering을 수행하도록 학습되었으므로, short-form 설정으로의 전이(transfer)는 주목할 만하다.

H Analysis of effect of question stance and reference point bias

이 섹션에서는 **질문의 "입장(stance)"(질문이 암묵적으로 특정 관련 믿음을 지지하는지 또는 반박하는지 여부)**이 모델의 정확도와 답변에서 해당 믿음을 지지하거나 반박하는 경향에 미치는 영향을 조사한다. 또한, **문화적으로 의존적인 질문("결혼식은 어떤 모습인가요?")**을 예시로 들어, 모델이 특정 문화적 기준점을 "가정"하는 편향을 탐색한다.

H. 1 Effect of question stance on factual accuracy and answer stance

우리는 질문의 입장(stance)이 모델의 답변에 미치는 영향을 조사하기 위해 작은 실험을 수행했다. TruthfulQA [Lin et al., 2021]에서 영감을 받아, 이 실험을 위해 잘 알려진 음모론 10가지와 일반적인 오해 10가지를 선정했다. 각 음모론 또는 오해에 대해 세 가지 입장(stance)을 가진 질문을 각각 작성했다:

• 내재된 믿음에 대한 회의론을 표현하는 질문,
• 내재된 믿음에 대해 중립적인 질문,
• 내재된 믿음을 긍정하는 질문.

그 결과 Table 10에 제시된 총 60개의 질문이 만들어졌다. 우리는 이 질문들에 대해 세 가지 연산 효율적인 WebGPT 모델(Section 5.2 참조)로부터 답변을 수집하고, 이 답변들을 분석하여 몇 가지 다른 효과를 살펴보았다.

• 사실적 정확성 (Factual accuracy). 첫째, 우리는 질문의 입장이 모델의 사실적 정확성에 영향을 미 미치는지를 조사했다. 이를 위해 각 답변의 핵심적이거나 구체적인 주장들을 사실 확인하고, 상당수(약 25% 이상)의 주장을 쉽게 확인할 수 없는 경우 해당 답변을 부정확하다고 분류했다. 우리의 결과는 Figure 11에 제시되어 있다. 우리는 모델 크기에 관계없이, 음모론이나 오해에 대한 내재된 믿음을 긍정하는 질문들이 중립적이거나 회의적인 방식으로 구성된 질문들보다 모델로부터 부정확한 답변을 더 자주 유도하는 경향이 있다는 시사적인 증거를 발견했다. 이 실험은 확정적인 결론을 내리기에는 표본 크기가 너무 작았지만, 잘못된 믿음을 가진 사용자들에게 모델이 그 믿음을 강화하는 방식으로 잘못된 정보를 제공할 수 있는 잠재력을 보여준다.
• 답변 입장 (Answer stance). 둘째, 우리는 모델이 답변 내용에서 질문의 입장을 반영하는지를 연구했다. 이를 위해 각 답변이 내재된 믿음을 명시적으로 반박하는지 또는 명시적으로 긍정하는지를 분류했다. 참고로, 어떤 경우에는 적절한 단서(caveat)를 포함함으로써 사실적으로 정확하면서도 음모론이나 오해에 대한 믿음을 긍정하는 답변이 가능하다. 만약 답변이 처음에는 믿음을 긍정하다가 "하지만 이것은 미신이다"와 같이 입장을 번복하는 경우, 우리는 그 답변이 믿음을 반박한 것으로 간주했다. 우리의 결과는 Figure 12에 제시되어 있다. 우리는 모든 모델이 내재된 믿음을 긍정하는 것보다 반박하는 경향이 더 강했으며, 이러한 효과는 모델 크기가 커질수록 증가한다는 것을 발견했다. 그러나 질문의 입장이 이러한 행동에 영향을 미친다는 명확한 증거는 찾지 못했다.

이 실험의 규모가 작다는 점을 고려할 때, 질문의 입장이 모델 답변에 미치는 영향에 대한 추가 연구는 유익할 것이다. 우리는 인간이 질문의 구성 방식에 민감하게 반응한다는 점을 언급한다 [Chong and Druckman, 2007]. 이 외에도, 학습 데이터 수집 방법론, 질문의 회의론, 중립성 또는 긍정의 상대적 정도, 웹상의 회의적이거나 긍정적인 출처의 상대적 양, 그리고 질문 자체가 학습 데이터나 웹에 나타나는지 여부와 같은 다양한 다른 요인들의 영향을 연구하는 것이 유용할 것이다.

H. 2 Reference point bias

강한 입장을 취하지 않는 질문이라도, 사용자에 대한 정보는 거의 드러내지 않을 수 있지만, 모델은 특정 문화적 기준점을 가정할 수 있다. 우리는 이를 **기준점 편향(reference point bias)**이라고 부른다. 이러한 현상을 조사하기 위해, 우리는 간단한 사례 연구를 수행했으며, 다음 질문에 대한 WebGPT 175B BC 모델의 답변 64개를 분석했다: "결혼식은 어떤 모습인가요?"

이 질문에 대한 모델의 답변은 서구적, 특히 미국적인 관점을 가정하는 경향을 보였다. 64개의 답변 중 20개는 "America" 또는 "American"이라는 단어를 포함했으며, 미국 외의 특정 문화에 초점을 맞춘 답변은 4개에 불과했다: 베트남(1); 인도(1); 크로아티아(2). 64개의 답변 중 8개는 표준적인 결혼식이 없다고 언급했지만, 이 중 하나를 제외한 모든 답변은 여전히 서구적이고 종종 미국적인 결혼식의 전형적인 세부 사항을 최소한 하나 이상 포함했다. 그리고 이 8개 중 2개(가장 높은 보상 모델 점수를 받은 답변 포함)는 표준적이거나 전형적인 미국 결혼식은 없다고 언급했다.

Figure 11: 질문 입장이 사실적 정확성에 미치는 영향에 대한 실험 결과.

Figure 12: 질문 입장이 답변 입장에 미치는 영향에 대한 실험 결과.

이 경우 서구적이고 종종 미국적인 기준점을 가정하는 경향은 모델이 사전학습 동안 접한 데이터, 인터넷 검색 데이터, 우리가 협력한 계약자 및 우리 연구팀이 대표하는 관점의 영향을 받았을 수 있다. "베트남 결혼식은 어떤 모습인가요?"라고 구체적으로 질문했을 때, 모델은 일반적으로 베트남 결혼식에 관한 답변을 생성하지만, 일반적인 질문에는 이러한 답변이 거의 나오지 않는다. 의심스러울 때, 모델은 이 경우 서구적 또는 미국적인 관점을 가정하는 것으로 기본 설정된다. 또한, 우리는 모델이 이 질문에 대한 답변에서 다른 정체성을 배제하거나 지우는 가정을 자주 한다는 점도 발견했다. 예를 들어, 커플이 남성 신랑과 여성 신부로 구성되어 있다고 가정하거나, 신부의 아버지가 신부를 통로로 데려간다고 가정하는 식이다. 우리의 실험은 서구적 또는 미국적 관점에 대한 편향을 조사하는 데 초점을 맞추었지만, 우리는 이러한 편향 및 다른 편향 영역에 대한 추가적인 학제 간 연구를 장려한다.

Table 10: 질문 입장이 모델 답변에 미치는 영향을 연구하는 데 사용된 질문. 상위 10개 주제는 잘 알려진 음모론을, 하위 10개 주제는 일반적인 오해를 나타낸다. 각 주제에 대해 회의적인 입장, 중립적인 입장, 긍정적인 입장을 가진 질문을 작성했다.

I Predicting rejection sampling performance

rejection sampling (best-of-$n$)을 사용하여 생성된 답변에 대한 인간 선호도를 예측하는 것은 유용하다. 이를 위해 우리는 **validation reward model (별도의 데이터셋 분할로 학습됨)**을 사용하여 답변을 평가하는데, 이는 원래 reward model이 과최적화(overoptimized)되는 경향을 보정하기 위함이다. $n$이 큰 경우, 기대 validation reward model 점수에 대한 naive Monte Carlo estimator는 정확한 추정치를 얻기 위해 많은 모델 샘플을 필요로 한다. 여기서는 더 효율적으로 정확한 추정치를 생성하는 대안적인 estimator를 설명한다.

$\mathcal{Q}$를 질문 분포라고 하고, 질문 $q$가 주어졌을 때 $\mathcal{A}(q)$를 모델이 생성한 답변 분포라고 하자. 질문 $q$와 답변 $a$ (참조 포함)가 주어졌을 때, $R^{\operatorname{train}}(a \mid q)$를 원래 reward model 점수라고 하고, $R^{\mathrm{val}}(a \mid q)$를 validation reward model 점수라고 하자. $n$은 rejection sampling 시 샘플링되는 답변의 개수이다 (즉, best-of-$n$에서 $n$). 주어진 질문 $q$에 대한 인간 선호도에 해당하는 Elo 점수를 예측하기 위해, 우리는 다음을 추정한다:

$$R_{n}^{\mathrm{pred}}(q):=\mathbb{E}_{A_{1}, \ldots, A_{n} \sim \mathcal{A}(q)}\left[R^{\mathrm{val}}\left(\underset{a \in\left\{A_{1}, \ldots, A_{n}\right\}}{\operatorname{argmax}} R^{\mathrm{train}}(a \mid q) \mid q\right)\right] .$$

인간 선호도에 해당하는 전체 Elo 점수를 예측하기 위해, 우리는 다음을 추정한다:

$$\mathbb{E}_{Q \sim \mathcal{Q}}\left[R_{n}^{\text {pred }}(Q)\right]$$

Figure 5에서 보듯이, 이 방법은 $n \leq 64$일 때 인간 선호도를 잘 예측하지만, validation reward model이 결국 과최적화될 것이므로 충분히 큰 $n$에 대해서는 인간 선호도를 과대평가할 것으로 예상된다. 주어진 질문 $q$에 대해 $R_{n}^{\text {pred }}(q)$를 추정하는 가장 간단한 방법은 Monte Carlo estimator를 사용하는 것으로, $A_{1}, A_{2}, \ldots, A_{n} \sim \mathcal{A}(q)$를 반복적으로 샘플링하는 것이다. 그러나 이 방법은 각 추정치를 생성하는 데 $n$개의 답변이 필요하고, 답변이 다른 $n$ 값에 대해 재사용되지 않으므로 매우 비효율적이다. 대신, 우리는 어떤 $N \geq n$에 대해 $A_{1}, A_{2}, \ldots, A_{N} \sim \mathcal{A}(q)$를 샘플링하고 다음을 계산한다:

$$\frac{1}{\binom{N}{n}} \sum_{1 \leq i_{1}<\cdots<i_{n} \leq N} R^{\operatorname{val}}\left(\underset{a \in\left\{A_{i_{1}}, \ldots, A_{i_{n}}\right\}}{\operatorname{argmax}} R^{\operatorname{train}}(a \mid q) \mid q\right),$$

이는 **기대값의 선형성(linearity of expectation)에 의해 $R_{n}^{\text {pred }}(q)$의 불편 추정량(unbiased estimator)**이다. 이 값은 $A_{1}, A_{2}, \ldots, A_{N}$를 원래 reward model 점수별로 정렬하여 $R^{\text {train }}\left(S_{1} \mid q\right) \leq \cdots \leq R^{\text {train }}\left(S_{N} \mid q\right)$를 만족하는 $S_{1}, S_{2}, \ldots S_{N}$를 얻은 다음, 다음을 계산하여 효율적으로 계산할 수 있다:

$$\frac{1}{\binom{N}{n}} \sum_{1 \leq i_{1}<\cdots<i_{n} \leq N} R^{\operatorname{val}}\left(\underset{a \in\left\{S_{i_{1}}, \ldots, S_{i_{n}}\right\}}{\operatorname{argmax}} R^{\operatorname{train}}(a \mid q) \mid q\right)=\sum_{i=n}^{N} \frac{\binom{i-1}{n-1}}{\binom{N}{n}} R^{\operatorname{val}}\left(S_{i} \mid q\right)$$

$n=1,2, \ldots, n_{\text {max}}$에 대해 $\mathbb{E}_{Q \sim \mathcal{Q}}\left[R_{n}^{\text {pred }}(Q)\right]$를 추정하기 위해, 우리는 여러 다른 질문 $Q \sim \mathcal{Q}$를 샘플링하고, 각 질문 $Q$에 대해 어떤 $N \geq n_{\text {max}}$에 대해 $A_{1}, A_{2}, \ldots, A_{N} \sim \mathcal{A}(Q)$를 샘플링한 다음, 각 $n$에 대해 다른 질문들에 대한 위 estimator의 **경험적 평균(empirical average)**을 취한다.

J References for example answer and alternative answers

Table 2에서 우리는 ELI5 test set에서 무작위로 선택된 질문인 "왜 우리는 특정 단어들이 '나쁘다'고 결정하고 사회적 상황에서 사용해서는 안 된다고 결정했을까요?"에 대해 175B best-of-64 모델이 생성한 답변을 제시했다. 여기서는 해당 답변에 대한 참고 자료의 전체 텍스트, 그리고 인간 시연자가 생성한 답변, 마지막으로 ELI5 데이터셋의 참조 답변을 함께 제공한다. 더 많은 샘플은 https://openaipublic.blob.core.windows.net/webgpt-answer-viewer/index.html 에서 확인할 수 있다.

Table 11: Table 2에 제시된 답변에 대해 우리 모델이 찾은 참고 자료의 전체 텍스트

References [1] Why Are Some Words 'Bad'? | Vermont Public Radio (www.vpr.org)

하지만 우리는 샌디에이고 캘리포니아 대학교 인지과학 교수인 **벤자민 버겐(Benjamin Bergen)**과 함께 욕설 뒤에 숨겨진 심리학과 뇌 과학을 탐구할 것이다. 그는 **"What the F: What Swearing Reveals About Our Language, Our Brains, and Ourselves"**의 저자이다.

[2] Why Are Some Words 'Bad'? | Vermont Public Radio (www.vpr.org)

어떤 단어는 나쁘고 어떤 단어는 그렇지 않은지에 대한 질문에 단 하나의 답을 내리기는 어렵다. 각 단어마다 다른 역사를 가지고 있기 때문이다. 단어와 그 의미는 시간이 지남에 따라 변한다. 따라서 한 세대에게는 "나쁜" 단어로 여겨졌던 것이 100년 후에는 그렇지 않을 수도 있다. 또한, 단어는 가족, 공동체, 문화에 따라 다른 의미를 지닌다. 그러므로 한 문화에서는 나쁘게 여겨지는 것이 다른 문화에서는 그렇지 않을 수도 있다.

[3] Why Are Some Words 'Bad'? | Vermont Public Radio (www.vpr.org)

하지만 "나쁜" 단어들이 속하는 몇 가지 일반적인 범주가 있다: "일반적으로 나쁘다고 여겨지는 단어들은 화장실 기능처럼 우리가 공공장소에서 이야기하기를 꺼리는 삶의 부분들과 관련이 있는 경향이 있습니다."라고 Benjamin Bergen은 말한다. 자주 나쁘다고 여겨지는 다른 단어들은 사람들과 그들의 종교, 피부색, 능력, 성별 등에 대해 부정적으로 이야기하는 방식과 관련이 있다. 그러한 단어들은 slur라고 불린다. 그리고 많은 사람들은 그러한 단어들을 가장 나쁜 종류의 나쁜 단어라고 생각한다.

사람들은 강한 감정을 경험할 때 나쁜 단어를 말하는 경우가 많으며, 그러한 단어들은 우리의 감정과 연결되어 있다. 아이들도 예외는 아니다. "우리는 아주 어렸을 때부터 사람들이 흥분하거나, 좌절하거나, 정말 행복하거나, 화나거나, 슬플 때 이러한 단어들을 사용한다는 것을 배웠습니다. 그래서 우리도 이러한 강한 감정을 느낄 때 그러한 단어들을 사용합니다."라고 Bergen은 말한다.

[4] On Words: 'Bad' Words and Why We Should Study Them I UVA Today (news.virginia.edu)

우리는 또한 **"bad word"**라는 용어를 단순히 지칭하는 대상 때문에 금기시되는 단어들을 지칭하는 데 사용한다. 여기에는 금기시되는 인간의 행위, 무례한 생물학적 과정, 사람들이 혐오스럽게 여기는 것들이 포함된다.

[5] The Science of Curse Words: Why The & @ $! Do We Swear? (www.babbel.com)

어떤 단어가 비속어로 분류되려면 불쾌감을 줄 수 있는 잠재력을 가져야 하며, 이는 문화적 금기 영역을 침범하는 것을 의미한다. 일반적으로 비속어는 금기시되는 주제에서 유래한다. 이는 매우 논리적이다. 해당 주제가 금지되어 있으므로, 관련 단어들도 발화되어서는 안 된다는 것이다. 죽음, 질병, 배설물과 같은 특정 주제들은 거의 보편적으로 금기시된다. 성(性) 또한 고전적인 금기 주제이며, 영어의 "fuck", 이탈리아어의 "fanculo", 러시아어의 "б л я д ь"가 이를 잘 보여준다.

Table 12: Table 2의 질문과 동일한 질문에 대해 인간 시연자가 생성한 답변 및 참고 자료

References [1] The Science of Swearing (www.psychologicalscience.org)

법원은 차별이나 성희롱과 관련된 사건에서 발언으로 인한 피해를 추정한다. 음란물 관련 법률의 원래 정당성은 발언이 아동을 타락시키거나 부패시킬 수 있다는 근거 없는 가정에 기반했지만, 단어 그 자체가 해를 끼친다는 것을 입증하는 사회과학적 데이터는 거의 없다 (있더라도 미미하다). 이와 밀접하게 관련된 문제는 피해가 정의되는 방식이다. 피해는 대개 종교적 가치나 성적 도덕과 같은 기준과 감수성의 관점에서 규정된다. 객관적으로 측정 가능한 증상(예: 수면 장애, 불안)의 관점에서 피해를 정량화하려는 시도는 거의 없다.

[2] All Of These Words Are Offensive (But Only Sometimes) (www.dictionary.com)

그렇다면, 무엇이 문제인가? 'ape'와 'monkey'는 유색인종을 묘사하는 데 사용될 때 모욕적인 용어로 간주된다. 이는 **"사람에게서 인간적인 자질이나 속성을 박탈하는 언어"**로 알려진 **비인간화 언어(dehumanizing language)**에 해당한다.

이 단어들이 정확히 언제부터 비하적인 의미를 갖게 되었는지는 알 수 없지만, 흑인을 유인원에 비유하는 모욕적인 비교는 수백 년 전으로 거슬러 올라간다. 예를 들어, 1800년대 후반에 과학자 Josiah C. Nott와 George R. Gliddon이 1854년에 『Types of Mankind』 (당시 인종에 관한 주요 과학 서적)를 저술했을 때, 그들은 흑인을 다른 (백인) 사람들과 비교하지 않고 침팬지, 고릴라, 오랑우탄에 비유했다.

이러한 맥락에서 'monkey'와 'ape'는 극도로 경멸적인 속어로 여겨진다.

[3] All Of These Words Are Offensive (But Only Sometimes) (www.dictionary.com)

'savage'라는 단어는 수년에 걸쳐 어휘를 통해 우회적인 경로를 거쳐왔으며, 1200년대 중세 영어에서 처음 영어에 등장했다. 형용사로서 이 단어는 일반적으로 "맹렬한, 사나운, 또는 잔인한; 미개한; 야만적인"을 의미했다. 아프리카 사하라에서 영양을 찢어발기는 사나운 사자를 언급할 때는 이 의미가 적절하다.

그러나 'savage'를 명사로 사용하여 인간을 묘사하는 용법은 대략 1400년대로 거슬러 올라간다. 크리스토퍼 콜럼버스가 아메리카 원주민을 노예로 삼고 그들의 땅과 노동력을 자신의 것으로 주장하던 시기에, 이 단어는 백인 유럽인들이 아메리카 원주민을 묘사하는 데 사용한 **경멸적인 표현(slur)**이 되었다. 이 용법은 수백 년 동안 지속되었으며, 전 세계의 많은 원주민들이 여전히 불쾌하게 여기는 단어이다.

Table 13: Table 2에 주어진 질문에 대한 ELI5 데이터셋의 참조 답변.

K Comparison dataset release details

우리는 프로젝트 종료 시점까지 보상 모델링(reward modeling)에 적합하다고 표시된 모든 비교 데이터셋을 공개하며, 총 19,578개의 비교 데이터로 구성되어 있다. 이 데이터셋은 https://openaipublic.blob.core.windows.net/webgpt-answer-viewer/comparisons.jsonl 에서 다운로드할 수 있다.

데이터셋의 각 항목은 두 개의 레코드 쌍으로 이루어져 있으며, 각 레코드는 다음 필드를 포함한다:

• Question: 질문 텍스트와 해당 질문이 추출된 데이터셋 이름, 그리고 고유 ID. 질문은 쌍을 이루는 각 레코드에서 동일하다.
• Quotes: 브라우징 중에 발견된 발췌문(extract)과 해당 발췌문이 발견된 페이지의 제목. 페이지 제목은 HTML title과 도메인 이름으로 구성된다.
• Answer: 발췌문을 사용하여 작성된 최종 답변.
• Tokens: 에피소드의 마지막 단계에서 모델 또는 사람에게 주어졌을 접두사(prefix)와 모델 또는 사람이 생성한 완성(completion) 텍스트. 접두사는 질문과 발췌문(일부 잘림)으로 구성되며, 완성 텍스트는 단순히 답변이다. 둘 다 GPT-2 tokenizer를 사용하여 토큰화된다. 접두사와 완성 텍스트의 연결(concatenation)은 보상 모델링에 사용되는 입력이다.
• Score: 답변에 대한 선호도 강도를 -1에서 1까지의 숫자로 나타낸다. 각 쌍의 두 점수는 합이 0이며, 점수가 양수일 경우에만 해당 답변이 선호된다. 보상 모델링에서는 0점은 soft 50% label로, **다른 모든 점수는 hard label(부호만 사용)**로 처리한다.