Chen, Chaoran, et al. "Clear: Towards contextual llm-empowered privacy policy analysis and risk generation for large language model applications." Proceedings of the 30th International Conference on Intelligent User Interfaces. 2025.

CLEAR: Towards Contextual LLM-Empowered Privacy Policy Analysis and Risk Generation for Large Language Model Applications

Figure 1: CLEAR는 LLM 기반의 개인정보 처리방침 분석 및 위험 생성 도구로, 사용자가 입력한 민감 정보와 관련된 구체적인 개인정보 처리방침 스니펫 및 잠재적 위험을 자동으로 감지하고 표시한다. 위 예시에서 사용자는 ChatGPT에 개인 이메일 및 연락처 정보를 입력했다. CLEAR는 이 정보를 감지하여 팝업 (a)에 표시했다. 사용자가 "자세히 알아보기..."를 클릭하자, 팝업이 확장되어 **긴 개인정보 처리방침 (c)에서 추출된 관련 개인정보 처리방침 스니펫 (b1)**과 **LLM이 예측한 잠재적 개인정보 위험 (b2)**을 보여주었다.

Abstract

대규모 언어 모델(LLM) 기반의 최종 사용자 애플리케이션(대화형 인터페이스 및 기존 GUI의 애드온 포함)의 등장은 새로운 프라이버시 문제를 야기한다. 그러나 많은 사용자는 이러한 위험을 인지하지 못하고 있다. 본 논문은 최종 사용자 애플리케이션에서 LLM과 관련된 프라이버시 위험에 대한 사용자 인식을 높이는 방법을 탐구한다.

우리는 사용자 프라이버시 우려 사항과 LLM 내에서 맥락적 프라이버시 정보에 대한 요구를 파악하기 위해 5개의 공동 설계 워크숍을 진행했다. 이러한 통찰력을 바탕으로, 우리는 **CLEAR (Contextual LLM-Empowered Privacy Policy Analysis and Risk Generation)**를 개발했다. CLEAR는 사용자가 LLM과 정보를 공유할 때 민감한 정보를 식별하고, 관련 프라이버시 정책을 요약하며, 잠재적 위험을 강조하도록 돕기 위해 설계된 just-in-time 맥락적 어시스턴트이다.

우리는 ChatGPT와 Gmail의 Gemini plugin이라는 두 가지 예시 도메인에서 CLEAR의 사용성과 유용성을 평가했다. 우리의 연구 결과는 CLEAR가 사용하기 쉽고, 데이터 관행 및 프라이버시 위험에 대한 사용자 이해도를 향상시킨다는 것을 보여주었다. 또한, 우리는 프라이버시 위험을 제기하고 완화하는 데 있어 LLM의 이중성에 대해 논의하고, 설계 및 정책적 함의를 제시했다.

1 Introduction

**Large Language Model (LLM)**이 컴퓨팅의 다양한 최종 사용자 애플리케이션에 통합되고 최종 사용자가 컴퓨터와 상호작용하는 방식을 근본적으로 재편하면서, 새로운 중대한 개인 정보 보호 위험을 초래하고 있다 [60]. 과거 연구들은 LLM의 광범위한 적용과 관련된 뚜렷한 개인 정보 보호 위험을 강조해왔다. 예를 들어, LLM은 사용자의 대화 기록을 포함할 수 있는 방대한 데이터셋으로 학습되며, 이는 기억(memorization) 위험을 야기한다. 이 위험은 LLM이 prompt를 받았을 때 학습 데이터에서 민감한 정보를 의도치 않게 드러낼 가능성을 포함하며, 이는 이전 연구들에서 문서화된 문제이다 [6]). 또한, LLM은 강력한 추론 능력을 통해 겉보기에는 무해한 쿼리에서도 개인 정보를 추출할 수 있다 (예: 라이프스타일 정보가 포함된 prompt를 기반으로 사용자의 나이를 추론하는 것 [47]). 이를 추론(inference) 위험이라고 한다. 또한, LLM의 인간과 유사한 상호작용으로 인해 사용자가 평소보다 더 많은 개인 정보를 공유하게 되어 잘못된 신뢰감을 형성할 수 있는 공개(disclosure) 위험도 존재한다 [25, 60, 62].

본 논문에서는 사용자가 LLM과 직접 상호작용하는 시나리오에만 초점을 맞추며, LLM이 사용자 데이터를 분석하기 위해 백그라운드에서 사용되거나 [10, 36] 백엔드 프로세스에서 전통적인 머신러닝 모델을 대체하는 시나리오 [50]는 제외한다. 우리의 분석은 LLM과의 가장 인기 있는 두 가지 사용자 상호작용을 고려한다.

• 사용자가 대화형 인터페이스(예: ChatGPT)를 통해 LLM과 직접 상호작용하는 경우
• 사용자가 기존 GUI(Graphical User Interface) 애플리케이션 내 LLM 기반 애드온(add-on)과 상호작용하는 경우 (예: Gmail의 Gemini 플러그인, Microsoft Office의 Copilot).

이러한 개인 정보 보호 위험이 부상하고 있음에도 불구하고, 대부분의 사용자는 이러한 문제들을 인지하지 못하거나 오해하고 있다 [53, 60]. 사용자들은 ChatGPT와 같은 LLM의 인간과 유사한 상호작용과 높은 유용성 때문에 LLM을 신뢰하는 경향이 있으며, 이로 인해 개인 정보를 공개할 가능성이 더 높다 [60]. 그들은 종종 개인 정보 보호 위험보다 지적 재산권 유출에 대한 우려를 우선시한다 [60]. 결과적으로, 사용자들은 개인적인 정보(예: 이메일) 또는 반개인적인 정보(예: Facebook 그룹 게시물)를 LLM과 자주 공유한다 [30]. 예를 들어, Zhang et al.은 50,496개의 ChatGPT 채팅 기록을 포함하는 공개된 ShareGPT52K 데이터셋에서 이메일, 전화번호, 위치를 포함한 수많은 개인 데이터를 식별했다 [60]. 유사하게, Cyberhaven의 보고서에 따르면 2023년 6월까지 ChatGPT 출시 이후 160만 명의 근로자 중 8.6%가 기밀 데이터를 ChatGPT에 붙여넣었다 [8].

LLM에서 사용자의 민감한 개인 정보와 관련된 개인 정보 보호 위험을 완화하기 위해, 여러 기존 연구들은 모델 학습 전후에 데이터를 처리하여 개인 데이터 유출을 방지하는 다양한 모델 중심 접근 방식을 제안했다 [22, 31, 32, 41, 42, 51]. 다른 연구들은 인간 중심 접근 방식을 취하여 사용자가 개인 식별 정보 유출을 조사하도록 돕거나 [24] 사용자가 LLM에 민감한 정보를 입력할 때 덜 구체적인 용어로 바꿔 쓰도록 지원했다 [13].

그러나 이러한 노력들은 중요한 측면을 간과하고 있다. 즉, LLM이 데이터를 어떻게 사용하는지에 대한 사용자의 인식을 높이고, 그러한 사용과 관련된 이유 및 위험을 이해하고 숙고하도록 돕는 것이다. 이는 다음과 같은 이유로 어렵다. 첫째, 사용자들은 개인 정보 공유의 장기적인 결과보다 이러한 시스템이 제공하는 즉각적인 유용성과 편리함을 우선시하는 경향이 있다. LLM과의 상호작용에서 얻는 즉각적인 이점은 개인 정보 보호와 같은 추상적인 우려를 자주 압도한다. 이러한 불일치는 모델의 안전성을 과대평가하고 개인 데이터를 의도치 않게 노출할 가능성을 과소평가하게 만든다 [60]. 또한, 많은 사용자는 충분한 개인 정보 보호 리터러시가 부족하여 데이터 사용의 기술적 세부 사항 [53], 모델 학습, 그리고 데이터 기억과 관련된 위험 [19]을 이해하는 데 어려움을 겪는다.

본 논문은 LLM 기반 최종 사용자 애플리케이션에서 사용자가 상호작용하는 시점과 사용 맥락 내에서 데이터 관행에 대한 사용자의 인식을 높이고 잠재적인 개인 정보 보호 위험을 이해하도록 돕는 데 초점을 맞춰 이러한 간극을 메운다. 우리는 사용자가 데이터 관행과 잠재적인 개인 정보 보호 위험에 대해 계속 정보를 얻고, 민감한 정보(예: 이메일 주소, 전화번호, 실제 주소)를 공유할지 여부에 대해 정보에 입각한 결정을 내리도록 돕는 것을 목표로 한다. 이를 위해, 우리는 먼저 16명의 참가자와 5개의 공동 설계 워크숍을 수행하여 사용자의 개인 정보 보호 요구 사항을 이해하고 LLM 기반 최종 사용자 애플리케이션에서 개인 정보 보호 인식 도구의 설계 공간을 탐색했다. 우리는 LLM 기반 최종 사용자 애플리케이션과 상호작용할 때 참가자들이 기대하는 네 가지 유형의 개인 정보 보호 정보를 식별했다:

• 어떤 데이터에 접근하는지,
• 누가 데이터에 접근하는지,
• 왜 데이터에 접근하는지,
• 이 접근이 자신에게 어떤 영향을 미칠지.

그들은 또한 이러한 애플리케이션에서 맥락적 개인 정보 보호 관련 정보를 이해하는 데 도움이 되는 새로운 접근 방식을 원했다.

공동 설계 워크숍에서 얻은 통찰력을 바탕으로, 우리는 CLEAR를 설계하고 개발했다. CLEAR는 Contextual LLM-Empowered privacy policy Analysis and Risk generation tool이다. CLEAR는 사용자가 LLM 기반 최종 사용자 애플리케이션과의 현재 상호작용과 공유하려는 데이터를 분석하여 LLM의 개인 정보 보호 정책을 이해하도록 돕는 것을 목표로 한다. Figure 1에서 보듯이, 이 시스템은 세 부분으로 구성된다:

1. 맥락 감지 (즉, 사용자가 공유하려는 민감한 정보의 유형);
2. 애플리케이션의 개인 정보 보호 정책에서 관련 스니펫 요약;
3. 민감한 데이터가 공유될 경우 발생할 수 있는 잠재적 개인 정보 보호 위험 예측.

우리는 두 가지 별개의 사용 사례에서 CLEAR의 유용성과 사용성을 평가했다. 첫 번째는 ChatGPT용 브라우저 플러그인으로, Claude 및 Gemini와 같은 독립형 대화형 인터페이스를 예시한다. 이 연구에서 13명의 참가자는 ChatGPT에 민감한 데이터를 입력해야 하는 시나리오에 참여했다. 두 번째 사용 사례는 Gmail 내의 Gemini 애드온을 활용했으며, 이는 Microsoft Copilot for Office 애플리케이션과 유사하게 기존 GUI 내의 "애드온" LLM 도구를 예시한다. 여기서는 15명의 참가자가 Gmail에서 Gemini 플러그인을 사용하여 민감한 정보가 포함된 이메일에 회신하거나 요약했다. 결과는 CLEAR가 사용자 경험을 크게 향상시키고 LLM과 관련된 데이터 관행 및 개인 정보 보호 위험에 대한 참가자들의 인식을 높였다는 것을 보여주었다. 잠재적 위험과 해당 개인 정보 보호 정책에 대한 새로운 지식에 고무되어, 대부분의 참가자는 민감한 정보를 삭제하거나 합성된 가짜 데이터로 대체하기로 선택하여 개인 정보 보호 관리 행동이 개선되었다.

본 논문은 다음과 같은 기여를 한다:

• 5개의 공동 설계 워크숍을 통해, 우리는 LLM 기반 최종 사용자 애플리케이션을 사용할 때 개인 정보 보호 정책 및 위험과 관련된 사용자 우려 사항 및 정보 요구 사항을 식별했다.
• 우리는 사용자가 LLM 기반 최종 사용자 애플리케이션과의 상호작용 중에 적시에 개인 정보 보호 위험을 식별하고, 그 의미를 이해하며, 정보에 입각한 조치를 취하도록 돕기 위해 설계된 실용적인 도구인 CLEAR를 소개했다.
• 우리는 개인 정보 보호에서 AI의 이중 역할을 탐구했다: AI는 고유한 개인 정보 보호 위험을 초래하는 동시에, 개인 정보 보호 관리를 개선할 기회도 제공한다.
• 우리는 LLM과의 사용자 상호작용에서 개인 정보 보호 인식, 지식 및 정보에 입각한 의사 결정을 향상시키기 위한 설계 및 정책 권장 사항을 제시한다.

2 Related Work

2.1 Privacy Risks of LLMs

LLM의 프라이버시 위험은 LLM의 채택을 저해하는 중요한 문제이다. 2023년 3월 ChatGPT 버그로 인해 사용자 대화 기록 및 결제 정보가 유출된 사건 [26]과 같은 주목할 만한 사례들은 이러한 우려를 더욱 부각시킨다. 기존의 데이터 유출 외에도, LLM과 관련된 세 가지 새로운 유형의 프라이버시 문제가 부상했다: 기억(memorization) 위험, 추론(inference) 위험, 공개(disclosure) 위험이다.

기억 위험 (Memorization risks)
LLM은 사용자 상호작용을 통해 제공된 데이터를 포함하여 방대한 양의 데이터로 학습된다. 따라서 이러한 모델은 학습 데이터로부터 민감한 정보를 기억하고 의도치 않게 재현할 수 있다 [20, 35]. 엄격한 prompt 검토에도 불구하고, 공격자는 학습 데이터 추출 공격(training data extraction attacks) 또는 jailbreaking prompt를 통해 모델을 악용할 수 있다 [28, 47].

추론 위험 (Inference risks)
추론 위험은 LLM의 고급 추론 능력으로 인해, 겉으로는 무해해 보이는 텍스트로부터 개인에 대한 광범위한 개인 속성을 자동으로 추론할 수 있는 능력을 의미한다 [30]. 예를 들어, "hook turn을 기다리고 있다"와 같은 문구는 "hook turn"이 특정 지역에서만 사용되는 표현이므로, 사용자가 멜버른에 있다는 것을 드러낼 수 있다 [47]. 익명화 도구가 어느 정도 보호를 제공하지만, LLM은 여전히 개인 정보를 드러내는 미묘한 단서를 감지할 수 있다.

공개 위험 (Disclosure risks)
LLM의 인간과 유사한 상호작용은 사용자 신뢰를 높여 민감한 정보를 의도치 않게 공유할 가능성을 증가시킨다 [25, 60, 62]. 예를 들어, Zhang et al. [60]은 인간과 유사한 상호작용이 사용자들이 LLM 기반 대화 에이전트와 민감하고 개인 식별 가능한 정보를 의도치 않게 공유하도록 유도한다는 것을 발견했다. 그들은 또한 사용자들이 LLM으로부터 혜택을 얻기 위해 프라이버시의 "대가를 치러야 한다"고 믿는다는 점을 지적했다. 이러한 믿음은 조작적인 인터페이스 디자인(예: dark patterns [34])과 결합되어 공개 위험을 증폭시킨다.

이러한 위험은 사용자가 LLM과 직접 또는 간접적으로 민감한 데이터를 공유하는 것에서 비롯된다. 우리는 사용자 데이터가 공유되기 전에 프라이버시 정책 및 잠재적 위험에 대해 사용자에게 알리는 도구를 개발하는 것을 목표로 한다.

2.2 Existing Methods for Protecting User Privacy when using LLM-enabled Applications

기존의 LLM 기반 애플리케이션에서 사용자 프라이버시를 보호하는 방법은 크게 모델 측(model-side) 솔루션과 사용자 측(user-side) 솔루션으로 분류할 수 있다.
모델 측 솔루션은 세 가지 단계에서 작동한다 [46]:

• 전처리(preprocessing): 훈련 데이터셋에서 민감한 정보를 제거하기 위한 데이터 sanitization을 포함하며, 일반적으로 패턴 기반 파싱(pattern-based parsing)과 같은 자동화된 기술을 사용한다 [32, 51]. 그러나 개인 정보의 정의는 맥락 의존적 특성과 다양한 형식으로 인해 어렵기 때문에, 완전한 sanitization을 보장하기 어렵다 [5].
• 훈련(training): 종종 **차등 프라이버시(differential privacy)**를 사용하는데, 이는 데이터에 노이즈를 추가하여 개별 식별을 방지하면서도 전반적인 유용성을 유지한다 [15]. 이는 기억(memorization) 위험을 줄이는 데 효과적이지만 [14, 42], 모델 성능을 저하시키고 계산 요구 사항을 증가시킬 수 있다 [21].
• 후처리(post-training): 민감한 정보가 포함된 출력을 필터링하는 방법 [41]과 **모델이 특정 데이터를 잊도록 강제하는 지식 망각(knowledge unlearning)**이 포함된다 [22]. 그러나 이러한 접근 방식은 출력 다양성을 유지하고 사용 사례 전반에 걸쳐 일관된 성능을 보장하는 데 어려움을 겪는다 [21, 46].

사용자 측 솔루션은 사용자 참여 및 상호 작용을 고려한다. **ProPILE [24]**와 같은 도구는 사용자가 자신의 데이터를 probing하여 LLM에서 개인 식별 정보(PII) 유출 여부를 테스트할 수 있도록 한다. 그러나 이러한 도구는 실제 사용자 시나리오와의 맥락적 정렬이 부족한 경우가 많다. 이를 해결하기 위해 **자기 공개 추상화 모델(self-disclosure abstraction models) [13]**은 민감한 입력을 일반화된 용어로 재구성하면서 유용성을 보존한다 (예: "I live in New Mexico"가 "I live in the Southwest"로 변경). 이러한 방법은 특정성을 줄이는 데 효과적이지만, 잠재적인 프라이버시 위험이나 데이터 접근에 대해 사용자에게 완전히 알리지는 못한다.

요약하자면, 프라이버시 보호 프롬프팅(privacy-preserving prompting) [16] 및 **자동화된 동의 메커니즘(automated consent mechanisms) [43]**과 같은 기존 방법은 프라이버시 task를 자동화하고 사용자 노력을 최소화하는 데 중점을 둔다. 우리는 정보에 입각한, 맥락 인식적인 결정을 지원하고 프라이버시 리터러시를 향상시킴으로써 사용자 자율성을 증진하는 것을 목표로 한다. 이러한 접근 방식들은 서로를 보완한다. 즉, 기존의 자동화된 도구는 간단한 경우를 처리할 수 있는 반면, 우리의 접근 방식은 적극적인 개입이 필요한 복잡하고 모호한 시나리오에서 사용자를 안내하는 것을 목표로 한다.

2.3 Contextual Privacy Policy

**Contextual Privacy Policy (CPP)**는 길고 복잡한 개인정보처리방침을 더 짧고 상황에 특화된 관련성 높은 내용으로 재구성한다 [18, 56]. Bergmann [3]은 개인정보처리방침에서 관련 정보만을 제시하는 것이 사용자의 개인정보 인식(privacy awareness)을 크게 높일 수 있음을 보여주었다. 이는 또한 **Nissenbaum의 contextual integrity 이론 [38]**과도 일치하는데, 이 이론은 특정 행위가 개인정보 침해인지 여부를 판단하는 데 맥락(context)이 결정적임을 강조한다.

CPP는 웹 및 모바일 시스템에서 탐구되어 왔다. 일반적인 웹 도메인에서 Ortlof et al. [39]은 7개 웹사이트에 대한 CPP 개념 시연을 개발하고 CPP의 설계 함의를 수집했다. 이를 바탕으로 Windl et al. [56]은 PrivacyInjector를 제시했는데, 이는 CPP를 자동으로 생성하고 표시할 수 있는 더 확장 가능한 시스템이다. 모바일 도메인에서는 Pan et al. [40]이 SeePrivacy를 제안했다. 이는 vision 기반 GUI 이해와 개인정보처리방침 분석을 통합하여 모바일 애플리케이션을 위한 CPP를 자동으로 생성한다.

이전 연구들과 비교하여, 우리의 연구는 LLM 기반 애플리케이션에 CPP를 구현하는 데 따르는 고유한 도전 과제를 다룬다. 우리는 사용자의 민감한 입력에 대한 CPP를 생성할 뿐만 아니라, LLM을 활용하여 잠재적인 개인정보 위험을 강조함으로써 사용자가 민감한 정보를 공유하는 것의 함의를 이해하도록 돕는다.

3 Co-Design Workshops

LLM 기반 최종 사용자 애플리케이션에서 개인 정보 보호 위험을 사용자에게 알리는 도구의 사용자 요구 사항을 이해하고 디자인 공간을 탐색하기 위해, 우리는 5회의 공동 디자인 워크숍을 진행했다. 여기에는 3회의 오프라인 워크숍과 2회의 온라인 워크숍이 포함된다.

3.1 Participants

참가자들은 **"자신들의 경험에 대한 전문가 [52]"**로 간주되며, 디자인 과정에 그들의 고유한 관점을 기여할 수 있다. 우리는 다양한 연령, 성별, 인종, 직업, 그리고 LLM 사용 경험을 가진 16명의 참가자를 입소문과 소셜 미디어를 통해 모집했다. Table 1은 참가자들의 인구통계학적 정보를 요약하여 보여준다. 참가자들은 다섯 개의 그룹(G1-G5)으로 무작위로 나뉘었으며, 각 참가자에게는 참여에 대한 보상으로 25 USD가 지급되었다.

3.2 Workshop Procedure

워크숍 절차는 개인 정보 보호 문헌의 선행 연구 [34, 57, 58]에서 영감을 받았다. 각 공동 설계 워크숍은 협력적인 분위기를 조성하기 위한 아이스브레이킹 활동을 포함한 소개 세션으로 시작되었다. 참가자들은 LLM과 관련된 사건(예: 워싱턴 포스트의 "ChatGPT 개발사 OpenAI, 개인 데이터 사용 방식에 대한 소송 직면"이라는 기사)에 대한 세 가지 뉴스 기사를 읽고 개인 정보 보호에 대한 토론에 참여했다. 그들은 잠재적인 개인 정보 보호 위험을 식별하고 이를 완화하기 위한 전략을 논의했다. 이 초기 활동은 LLM과 관련된 개인 정보 보호 문제에 대한 기본적인 이해를 구축하는 것을 목표로 했다.

참가자들은 이어서 개인 정보 보호를 위한 우려 사항과 기회를 공유하는 아이디어 구상 세션에 참여했다. 이는 그들이 개인 정보 보호 정책 요소를 만들고, 위험을 평가하고, 스케치, 글쓰기 및 토론을 통해 개인 정보 보호 사건을 탐색하는 세 가지 활동으로 이어졌다 (Table 2).

첫 번째 활동에서는 ChatGPT 시스템에 입력된 예시 prompt를 기반으로, 참가자들이 예시 시나리오에서 민감한 정보와 관련된 검색된 개인 정보 보호 정책 스니펫의 내용과 표현 방식을 설계했다. 참가자들은 인터페이스 기능에 대한 설명을 작성하거나 인터페이스 스케치를 만들 수 있었다. 이 아이디어 구상 활동의 목적은 LLM 기반 애플리케이션 맥락에서 상황별 개인 정보 보호 정책에 대한 사용자별 요구 사항을 수집하는 것이었다.

두 번째 활동은 참가자들에게 prompt, 개인 정보 보호 정책 스니펫 및 관련 개인 정보 보호 위험을 검토하도록 요청함으로써 첫 번째 활동을 확장했다. 개인 정보 보호 위험은 Lee et al.의 AI 개인 정보 보호 위험 분류 [27]를 기반으로 선택되었으며, 사용자가 입력한 개인 정보가 어떻게 공유되거나, 광고에 사용되거나, 서비스 제공업체에 의해 저장될 수 있는지에 대한 예시를 포함하여 자세한 설명과 시각 자료를 통해 제시되었다. 참가자들은 LLM 기반 애플리케이션과의 사용자 상호 작용 중에 사용자 인식을 높이고 정보에 입각한 행동을 지원하기 위해 이 정보를 어떻게 구성하고 제시할지 논의하고 설계했다. 이 활동은 특히 현실적인 사용 맥락과 그러한 정보가 LLM 기반 애플리케이션 사용을 통해 달성하려는 사용자의 전반적인 task에 어떻게 들어맞을 수 있는지에 중점을 두었다. 목표는 LLM 관련 개인 정보 보호 위험을 강조하는 것이 사용자의 개인 정보 보호 인식을 향상시킬 수 있는지, 그리고 그렇다면 어떻게 향상시킬 수 있는지 이해하는 것이었다.

마지막 활동은 이전에 식별된 위험을 바탕으로 특정 개인 정보 보호 사건을 제시하는 데 중점을 두었다. 참가자들은 실제 사례가 개인 정보 보호에 미치는 영향을 어떻게 강조할 수 있는지 설계했다. 목표는 명시적인 개인 정보 보호 사건 예시가 참가자의 인식에 미치는 영향을 이해하고, LLM 애플리케이션 사용 맥락에서 이러한 사건을 효과적으로 전달하는 방법을 결정하는 것이었다.

3.3 Data Analysis

모든 스터디 세션은 분석을 위해 오디오 녹음된 후 전사되었다. 우리는 인터뷰 데이터를 분석하기 위해 확립된 open coding 절차 [4]를 따랐다. 우리 연구팀의 두 명의 연구원이 독립적으로 샘플의 20%를 코딩하여 MAXQDA를 사용하여 예비 코드 세트를 생성했다. 그들은 자신들의 코드를 비교하고 차이점을 조정했다. 동일한 코드북을 사용하여 두 연구원은 나머지 데이터를 코딩했다. 이 과정에서 그들은 완전한 합의를 보장하기 위해 코드를 지속적으로 비교하고 논의했다. 코딩 과정이 논의 기반이었기 때문에 inter-coder reliability는 필요하지 않았다 [37]. 최종 코드북을 사용하여 **주제 분석(thematic analysis)**을 수행하여 **주제(themes)**를 식별했다. 전체 코드북은 Appendix에 제공된다.

3.4 Key Insights

이 섹션에서는 공동 설계 워크숍에서 얻은 주요 통찰력을 보고한다.

Table 1: 참여형 디자인 참가자들의 인구통계학적 정보

Table 2: 공동 설계 워크숍에서 사용된 예시 자료. 잠재적 개인정보 위험(Potential Privacy Risks) 행의 괄호 안 내용은 AI 개인정보 위험 분류 체계 [27]에 기반한 개인정보 위험 유형을 나타낸다.

3.4.1 KI1: AI 환경에서의 개인정보 보호 정책에 대한 우려

참가자들은 데이터 접근 유형, 데이터 접근 주체, 데이터 접근 이유, 그리고 그러한 접근의 잠재적 영향이라는 네 가지 주요 영역에 대해 우려를 표명했다. AI라는 맥락은 이들이 이러한 측면들을 완전히 이해하는 것을 어렵게 만들었다.

참가자들은 특히 수집되는 개인 정보의 특정 유형에 대해 불확실해했으며, 여기에는 결제 거래, 연락처 정보, 자주 사용하는 서비스, 온라인 행동 추적 등에 대한 접근 우려가 포함되었다. 예를 들어, 우리 연구의 G5 참가자 중 한 명은 "저는 그들이 제 기기에서 무엇을 보려 하는지 같은 것을 찾아봅니다"라고 말했다. LLM이 접근할 수 있는 데이터의 방대한 양과 다양성은 의도치 않은 데이터 유출 및 오용의 위험을 증가시킨다. 사용자들은 접근되는 데이터의 범위에 대해 완전히 인지하지 못할 수 있으며, 이는 정보에 입각한 동의(informed consent)의 부족으로 이어진다. 또한, 참가자들은 민감한 데이터를 누가 사용할 것인지에 대해 우려했으며, 자신의 데이터가 제3자와 공유되는지 여부를 이해할 필요성을 강조했다. AI 시스템의 복잡성은 종종 여러 주체 간의 데이터 공유를 필요로 하며, 이는 무단 접근 및 데이터 오용의 위험을 증가시킨다. 예를 들어, G3의 한 참가자는 "[민감한 정보가] 다른 회사에 제공될 수 있고 다른 검색 결과에 표시될 수 있다"고 가정했다.

참가자들은 또한 데이터 수집의 목적에 대해 의문을 제기했다. 일부는 자신의 데이터가 서비스 개선을 위해 사용되는지, 아니면 타겟 광고를 위해 사용되는지 궁금해했으며, 이는 사용자들이 무엇에 동의했는지 명확하지 않아 사용자 동의의 경계를 모호하게 만들었다. 더욱이, 또 다른 중요한 우려는 사용자 개인정보에 대한 잠재적 영향이었다. G1의 한 참가자는 "제 개인 건강 정보가 신용카드 회사나 생명보험 회사와 공유될지 정말 알고 싶습니다... 그런 정보가 있다면 사용자들에게 매우 도움이 될 것이라고 생각합니다"라고 말했다.

3.4.2 KI2: 맥락적이고 간소화되며 집중된 개인정보 보호 정보에 대한 기대

참가자들은 맥락적이고 간결하며 이해하기 쉬운 개인정보 보호 정보를 원한다고 표현했으며, 데이터 사용의 이유와 결과를 명확하게 전달하는 것의 중요성을 강조했다. 예를 들어, G4의 참가자들은 정책 내 단어의 정의를 보여주는 툴팁 추가("이것이 무엇을 의미하는지 확실하지 않으면 클릭하여 빠르게 정의를 얻을 수 있습니다"), "중요한 정보를 한 페이지에 시각화하면서 추가 세부 정보 링크 제공", 그리고 간결하게 정보를 요약하기 위해 간단한 언어 사용을 제안했다. 참가자들은 "모든 정보에 노출되고 싶지 않다"고 강조하며, 대신 "가장 중요한 (개인정보 보호) 정보만 포함된 한 페이지"를 기대했다.

또한, 참가자들은 개인정보 보호 정책 및 위험 경고가 자신이 참여하는 맥락과 관련성이 있어야 한다고 강조했다. 그들은 민감한 정보 강조, 관련 정책 섹션 요약, 잠재적 개인정보 위험을 명확하게 설명하는 기능들을 제안했다. 예를 들어, G5의 한 참가자는 "핵심 권한을 요약하여 한눈에 알아볼 수 있도록 bullet point로 강조해주는 도구를 기대했으며, 이를 통해 정확히 무엇에 동의하는지 알 수 있도록 해달라고 했다." 이러한 간결하고 맥락적인 개인정보 보호 고지는 참가자들의 이해도를 높이고 LLM에 대한 신뢰를 향상시킬 수 있다.

개인정보 침해 사건과 관련하여, 참가자들은 개인정보 침해에 대한 정보를 제시하는 것의 가치를 인정했지만, 긴 기사를 철저히 읽을 시간이 부족하여 그러한 콘텐츠에 자주 참여하지 않았다. 또한, 뉴스 내용이 자신이 우려하는 민감한 정보 유형과 직접적으로 관련이 없을 경우, 읽으려는 동기가 크게 감소했다. 이러한 무관심은 그러한 예시 사건이 개인정보 인식 향상에 미칠 수 있는 잠재적 영향을 크게 감소시킨다.

3.4.3 KI3: 데이터 보호 강화 및 개인정보 인식 증진에 대한 열망

참가자들은 이미 데이터 위생(data sanitization)(예: "가짜 또는 임의의 위치 제공" 및 "다른 웹사이트에서 다른 가짜 이름 사용")과 같은 다양한 개인정보 보호 방법에 적극적으로 참여하고 있다고 보고했다. 또한, 각 사이트마다 고유한 비밀번호 사용, 더 엄격한 인증 조치 적용, 더 안전한 브라우저 선택 등 안전한 브라우징 관행을 채택하고 있었다. 그들은 또한 공개하는 정보를 제어하고, 개인 데이터를 로컬에 저장하며, 신뢰할 수 없는 애플리케이션이나 개인과 민감한 정보를 공유하는 것을 피함으로써 데이터 공유를 제한했다.

이러한 보호 조치 외에도, 참가자들은 앱 권한을 정기적으로 검토하고 개인정보 위험에 대해 학습하는 등 개인정보 인식을 향상시키고자 하는 열망을 표현했다. 그러나 그들은 개인정보 보호 정책에 대한 더 깊은 이해를 추구했다. 예를 들어, G2의 한 참가자는 기존 온라인 서비스가 "기능과 데이터 간의 더 투명한 연결, 즉 내 데이터가 어떤 기능을 지원하는지" 보여주기를 기대했다. 참가자들은 또한 자신의 데이터 가치를 인식하는 것의 중요성과 개인정보 리터러시를 향상시킬 수 있는 자원의 가용성을 강조했다. 예를 들어, G5의 한 참가자는 "경제적 가치를 보여주는 것이 매우 중요합니다. 왜냐하면 제 데이터는 매우 소중하기 때문입니다"라고 강조했다. 반면 다른 참가자는 "앱에서 가질 수 있는 모든 기능과 잠재적 개인정보 위험을 안내해주는 대화형 튜토리얼을 원합니다"라고 언급했다.

3.4.4 KI4: AI를 통한 개인정보 제어 및 보호 강화에 대한 열망

AI와 관련된 개인정보 위험을 인지하고 있음에도 불구하고, 참가자들은 여전히 AI를 개인정보 보호를 강화하는 데 유용한 도구로 보았다. 그들은 AI가 개인 정보를 보호하는 데 활용될 수 있는 여러 방법을 제안했다. 구체적으로, 참가자들은 AI가 개인정보 보호를 강화할 수 있는 몇 가지 방법을 제안했다:

• 참가자 입력에서 민감한 정보를 검사하여 의도치 않은 공유 방지,
• 요청 시 language model이 데이터를 unlearn하도록 하는 기능,
• AI를 사용하여 참가자를 모니터링하고 해킹으로부터 방어,
• 위험한 데이터 트래픽을 감지하여 차단.

예를 들어, G5의 한 참가자는 "이러한 사건들을 모니터링하고 경찰에 보고할 수 있는 또 다른 AI 감독관이 있어야 한다"고 기대했다. 참가자들은 더 엄격한 개인정보 보호 정책이나 새로운 개인정보 규제 및 법률에 의존하기보다는, AI 기술을 통해 개인정보를 보호하기 위한 더 많은 참여와 통제를 원하며 AI가 직접적으로 자신들을 돕기를 바랐다. 또한, 그들은 AI가 참가자들이 공유하는 데이터를 인식하고 관리하는 데 도움을 주고, 제출 전에 정보를 수락, 거부 또는 수정할 수 있도록 허용해야 한다고 강조했다. 예를 들어, G1의 한 참가자는 "채팅이 끝날 때 AI가 사용자에게 데이터 공유 여부를 선택할 수 있는 옵션을 제공할 수 있다"고 언급했다.

3.5 Design Goals

다음은 우리의 형성 연구(formative study)에서 얻은 통찰력을 바탕으로 개발된 주요 설계 목표이며, 솔루션 설계에 중요한 지침이 된다:

• DG1: 데이터 접근 및 사용에 대한 이해 증진. 참여자들은 다음 사항을 이해할 수 있어야 한다: (1) LLM이 어떤 민감한 데이터에 접근하는지, (2) 누가 접근하는지, (3) 왜 접근하는지, (4) 이것이 자신에게 어떤 영향을 미치는지. LLM의 데이터 공유 관행과 사용자에게 미치는 영향에 대해 명확한 설명을 제공해야 한다 (Section 3.4.1의 KI1).

• DG2: 상황에 맞는 사용자 친화적인 개인정보 처리방침 개발. 간결할 뿐만 아니라 상황에 맞고 이해하기 쉬운 개인정보 처리방침을 개발해야 한다. 개인정보 처리방침 내의 중요한 맥락 관련 정보를 한 페이지로 요약하여, 필요할 경우 사용자가 더 자세한 정보에 접근할 수 있도록 안내하는 역할을 해야 한다 (Section 3.4.2의 KI2).

• DG3: AI를 활용하여 데이터 공유 관리 및 개인정보 보호 리터러시 강화. AI를 사용하여 민감한 정보를 검사하고 의도치 않은 공유를 방지할 수 있어야 한다. 또한, AI를 활용하여 상황에 맞는 개인정보 처리방침을 추출하고 잠재적인 개인정보 위험을 생성함으로써 참여자의 개인정보 처리방침 이해도를 향상시킬 수 있어야 한다 (Section 3.4.3의 KI3).

• DG4: 개인정보 관리에서 참여자의 통제 및 참여 증진. 참여자가 무엇에 동의하는지 완전히 인지하도록 주요 권한과 잠재적인 개인정보 위험을 강조해야 한다. 이 목표는 참여자가 개인정보 보호에 대한 참여와 통제력을 강화하여, 더 정보에 입각한 사용자 기반을 조성하는 것을 목표로 한다 (Section 3.4.4의 KI4).

4 System Design

4.1 Overview

제시된 설계 목표를 달성하기 위해, 우리는 CLEAR를 소개한다: Contextual LLM-Empowered privacy policy Analysis and Risk generation tool. Figure 2에서 볼 수 있듯이, CLEAR는 세 가지 주요 구성 요소로 이루어져 있다:

• 사용자 입력으로부터 민감한 정보의 맥락(context)과 유형을 탐지하는 기능,
• 기반이 되는 LLM-enabled 애플리케이션의 관련 개인정보 처리방침 스니펫을 검색하고 요약하는 기능,
• 해당 정보를 LLM-enabled 애플리케이션과 공유할 때 발생할 수 있는 잠재적인 개인정보 위험을 식별하는 기능.

4.2 Example Use Case

우리는 CLEAR의 기능을 두 가지 특정 사용 사례를 통해 설명한다:

• 대화형 인터페이스(예: ChatGPT)를 통한 LLM과의 직접적인 상호작용,
• 기존 GUI(Graphical User Interface) 애플리케이션 내 LLM 기반 추가 기능(예: Gmail의 Gemini plugin)과의 상호작용.

첫 번째 시나리오(Fig. 1)에서 사용자 Alice는 ChatGPT에게 미납 송장에 대한 고객 후속 이메일 작성을 요청한다. Alice의 입력에서 민감한 정보가 감지되면, CLEAR는 관련 개인정보 처리방침 발췌문과 잠재적 위험과 함께 관련된 민감 데이터의 특정 유형을 Alice에게 알려준다.

두 번째 시나리오(Fig. 3)에서 또 다른 사용자 Randy는 Gmail의 Gemini plugin에게 이메일 요약을 요청한다. 이메일에서 민감한 정보가 식별되면, CLEAR는 Randy에게 감지된 민감 데이터의 특정 범주를 알리고, 관련 개인정보 처리방침 발췌문을 제공하며 잠재적 위험을 강조한다. 이 도구는 사용자가 LLM 기반 애플리케이션과 상호작용하는 동안 개인정보 위험을 식별하고, 그 의미를 이해하며, 실시간으로 정보에 입각한 결정을 내릴 수 있도록 돕는다.

• 민감 정보 표시: Alice는 ChatGPT에게 이메일 작성을 도와달라고 요청하며 다음과 같은 prompt를 입력한다: "이메일 작성을 도와주세요. 제 이메일은 abc@gmail.com이고 연락처는 1234567890입니다. 미납 송장에 대해 고객에게 정중하게 후속 조치를 취하고, 기한을 상기시키며, 필요한 경우 지원을 제공해야 합니다." Alice가 입력하는 동안, CLEAR는 민감한 정보(즉, 개인 이메일 및 전화번호)를 감지하고 해당 민감 정보 유형과 함께 "민감한 정보를 입력했습니다: 이메일, 연락처."라는 알림을 표시한다 (Fig. 1a). 마찬가지로, Randy가 Gemini plugin에 "이 이메일을 요약해 줘"라고 입력하면, CLEAR는 민감한 정보(즉, 전화번호 및 실제 주소)를 감지하고 "이 이메일에 민감한 정보가 있습니다: 주소, 전화번호."라는 알림을 팝업으로 띄운다 (Fig. 3a).

• 관련 개인정보 처리방침 발췌문 및 잠재적 개인정보 위험 표시: Alice는 CLEAR 팝업의 "더 알아보기" 버튼을 클릭하여 감지된 민감 정보와 관련된 개인정보 처리방침 발췌문 및 LLM과 민감 정보를 공유할 때의 잠재적 개인정보 위험에 대해 알아본다 (Fig. 1b). 각 민감 정보 유형은 특정 정책 발췌문 및 관련 위험에 해당한다. 예를 들어, 연락처 정보는 ChatGPT의 개인정보 처리방침에 최소 세 번 언급된다. 정책 발췌문 섹션(Fig. 1b(1))에서 Alice는 이러한 유형의 민감 정보에 접근하는 주체와 접근 이유에 대해 알게 된다. 그녀는 "원본 텍스트 참조"를 클릭하여 전체 개인정보 처리방침에서 자세한 발췌문을 볼 수 있다. 잠재적 위험 섹션(Fig. 1b(2))에서 Alice는 각 유형의 민감 정보를 LLM과 공유할 때의 위험에 대한 통찰력을 얻는다. "자세한 설명"을 클릭하면 각 범주와 관련된 개인정보 위험에 대한 심층적인 설명을 볼 수 있다. 이 정보는 Alice가 ChatGPT와 민감 정보를 공유해야 할지 여부에 대해 더 정보에 입각한 결정을 내리는 데 도움이 된다. 마찬가지로, Randy는 "더 알아보기"를 클릭하여 Gemini plugin의 정책 발췌문 및 잠재적 위험에 접근하고, 누가 자신의 데이터에 접근할 수 있는지 확인하며 잠재적 위험을 평가하여 의사 결정에 도움을 받는다.

4.3 Key Features of CLEAR

4.3.1 민감 정보 식별 (Identifying sensitive information)
민감 정보는 일반적으로 **이메일 주소, 전화번호, 실제 주소와 같은 개인 식별 정보(PII)**를 포함한다. 이러한 데이터 유형은 이전에 사용자와 ChatGPT 간의 대화 기록에서 노출된 사례가 있다 [60]. CLEAR의 첫 번째 구성 요소는 사용자 입력에서 민감 정보를 식별하는 데 중점을 두어, 사용자가 개인 정보 보호 위험을 인지하고 LLM과 상호 작용할 때 더 큰 주의를 기울이도록 동기를 부여한다.

CLEAR를 사용하는 동안 사용자가 LLM과 민감 정보를 직접 공유하지 않도록 하기 위해, 우리는 먼저 Microsoft Presidio를 사용하여 사용자 입력에 포함된 민감 정보의 유형을 식별한다. LLM의 직접적인 대화형 인터페이스(예: ChatGPT)의 경우, 사용자 입력에는 LLM으로 전송되는 prompt가 포함된다. LLM add-on(예: Gmail용 Gemini add-on)의 경우, 사용자 입력에는 **맥락 내의 사용자 개인 데이터(예: 기본 이메일 내용)**도 포함된다. CLEAR는 아래에 자세히 설명된 대로, 실제 정보 자체가 아닌 정보의 유형만을 LLM에 전달하여 후속적인 맥락별 개인 정보 보호 정책 추출 및 잠재적 개인 정보 보호 위험 생성을 수행한다.

4.3.2 관련 개인 정보 보호 정책 발췌 (Extracting relevant privacy policy snippets)
KI2는 사용자가 현재 진행 중인 task에 가장 관련성 높은 정보에만 접근할 필요성을 강조한다. 이에 따라 CLEAR의 이 구성 요소는 이전 단계에서 식별된 민감 정보 유형을 기반으로 해당 LLM의 전체 개인 정보 보호 정책에서 관련 발췌문을 추출하는 데 중점을 둔다. 이는 제공되는 정보가 사용자의 즉각적인 맥락 및 요구 사항과 일치하도록 보장하기 위함이다.

이를 달성하기 위해 우리는 few-shot learning 기법 [5]을 사용한다. 이 기법은 제한된 예시 세트로부터 효과적으로 학습하고, 이 학습을 일반화하여 개인 정보 보호 정책의 관련 섹션을 식별할 수 있도록 시스템을 지원한다. 이 접근 방식을 통해 CLEAR는 다양한 개인 정보 보호 정책에 빠르게 적응하고 가장 중요한 발췌문을 정확히 찾아낼 수 있다. 구체적으로, 이 발췌문들은 사용자가 입력한 정보 유형에 맞춰 민감 정보에 누가 어떤 목적으로 접근할 수 있는지를 상세히 설명한다 (KI1). 이 방법은 처리 속도를 높이고 사용자의 맥락적 이해를 향상시켜, LLM에 데이터를 입력하는 것과 관련된 잠재적 개인 정보 보호 위험을 더 잘 이해하도록 돕는다.

Figure 2: CLEAR의 시스템 흐름

Figure 3: Gmail 맥락에서의 CLEAR 사용자 인터페이스. 이 예시에서 사용자는 Gmail에서 Gemini 플러그인을 사용하여 주소와 전화번호 같은 민감 정보가 포함된 이메일을 요약하려고 한다. CLEAR는 팝업(a)에서 민감 정보를 감지하고 강조 표시한다. 사용자가 "더 알아보기..."를 클릭하면 팝업이 확장되어 Gemini의 관련 개인 정보 보호 정책 발췌문과 LLM이 식별한 잠재적 개인 정보 보호 위험(b)을 보여준다. 이미지의 검은색 사각형은 사용자 정보가 그림에 노출되는 것을 가리기 위해 스크린샷에 추가되었다.

LLM에 데이터를 입력하는 것과 관련된 잠재적 개인 정보 보호 위험을 더 잘 이해하도록 돕는다.

Prompt for generating privacy policy snippets

주어진 개인정보 처리방침: {policy}, 그리고 입력된 민감 정보: {sensitive information}에 대해, 계정을 생성하는 대신 LLM 서비스만 이용할 때 입력된 민감 정보와 의미적으로 관련된 개인정보 처리방침 문장만 인용하세요. 데이터에 접근할 주체(서비스 제공자 및 제3자)와 접근 이유를 나열하세요. 각 데이터 접근 주체는 달라야 합니다. 언어와 어휘는 초등학생이 이해하기 쉽게 작성해야 합니다.

4.3.3 잠재적인 개인정보 위험 생성

CLEAR의 마지막 부분은 LLM과 민감한 정보를 공유할 때 생길 수 있는 잠재적인 개인정보 위험을 찾아내는 거예요. 우리는 chain-of-thoughts라는 방법을 사용하는데 [54], 이건 데이터를 공유했을 때 어떤 일이 생길지 차근차근 생각해보는 방식이에요. 이 방법은 다음과 같이 진행돼요:

• 지식 추출: CLEAR는 먼저 LLM을 사용해서 LLM 개인정보 위험에 대해 이야기하는 학술 논문들에서 중요한 정보들을 뽑아내요. Table 3은 우리가 지식 추출에 사용한 학술 논문 목록이에요. 이 논문들은 처음에 Google Scholar에서 'privacy risk AND (large language model OR LLM)'이라는 단어를 사용해서 자동으로 검색해서 찾았어요. 관련 논문들을 찾은 다음에는 LLM과 개인정보 위험에 대한 설문조사나 사용자 연구가 포함된 논문들을 우선적으로 선택했어요. 지식 추출 과정은 반자동으로 진행되었어요. LLM이 논문의 텍스트를 분석해서 개인정보 위험과 그 원인, 영향, 증거 같은 미리 정해진 카테고리로 핵심 내용을 뽑아냈어요. 그런 다음, 이렇게 정리된 내용들은 전문가들이 정확하고 관련성이 있는지 직접 확인했어요. 이렇게 자동 추출과 사람의 검증을 함께 사용해서, 만들어진 위험들이 종합적이고 믿을 수 있는 연구 자료에 근거하도록 해서 시스템의 일반화 능력을 높였어요. 이 과정에서 만들어진 정리된 지식은 Appendix에 자세히 나와 있고, 추출된 위험들의 예시도 볼 수 있어요.

Table 3: 개인정보 지식 생성을 위한 논문 목록 예시

• 프롬프트 생성: 다음 단계는 추출된 지식을 사용해서 LLM이 특정 개인정보 위험을 만들어내도록 안내하는 프롬프트를 만드는 거예요. 이 프롬프트에는 이전에 찾아낸 민감한 정보에 기반한 상황별 세부 정보가 들어가서, 만들어지는 위험들이 사용자의 상황과 관련이 있도록 해요.
• 위험 생성: 프롬프트를 사용해서 LLM은 사용 상황과 사용자 입력에 포함된 개인 데이터 유형에 따라 잠재적인 개인정보 위험을 상상하고 설명해요. 이 단계에서는 민감한 정보가 잘못 사용되거나 실수로 노출될 수 있는 시나리오를 설명해서, 사용자에게 관련된 위험들을 종합적으로 보여줘요. Lee 등 [27]이 제안한 AI 개인정보 위험 분류 체계를 바탕으로, 우리는 생성된 각 개인정보 위험에 해당 위험 카테고리를 태그해요. DG2에서 영감을 받아, 각 개인정보 위험에는 간단한 요약과 더 자세한 설명이 있어요. 이 방법은 사용자들이 LLM과 상호작용할 때 직면하는 개인정보 위험에 대해 명확하고 상황에 맞는 이해를 할 수 있도록 도와줘요.

Prompt for generating potential privacy risks

당신은 LLM의 개인 정보 보호 위험에 대한 지식을 알고 있는 개인 정보 보호 전문가입니다: {structured knowledge}. 주어진 개인 정보 보호 정책: {policy}에 따라, 민감한 정보: {sensitive information}과 관련된 가장 중요한 3가지 LLM 개인 정보 보호 위험과 그에 대한 자세한 결과(예: 기억(memorization) 위험)를 반환하세요. 또한, 위험 유형 및 관련 개인 정보 보호 지식도 함께 반환하세요.

4.4 Implementation

CLEAR의 프론트엔드 Chrome 확장 프로그램은 Node.js로 구현되었으며 Webpack.js로 패키징되었다. 백엔드 서버는 FastAPI framework를 사용하여 개발되었다. CLEAR는 사용자 입력에서 개인 정보 인스턴스를 식별하고 그 유형을 추론하기 위해 Microsoft Presidio 라이브러리를 사용한다. 또한 CLEAR는 LangChain 및 Pydantic 라이브러리를 활용하여 문맥적 개인 정보 보호 정책을 추출하고, AI 개인 정보 위험과 관련된 과거 논문에서 구조화된 지식을 요약하며, 잠재적인 개인 정보 위험을 생성한다.

5 User Studies

우리는 CLEAR의 유용성과 효과를 평가하기 위해 두 가지 사용 사례에 대해 각각 두 가지 사용자 연구를 수행했다. 특히, LLM 기반 최종 사용자 애플리케이션에서 CLEAR가 사용자의 프라이버시 이해 및 행동에 미치는 영향에 중점을 두었다.

첫 번째 사례는 ChatGPT와 같은 대화 기반 LLM 환경에서 CLEAR가 사용자의 프라이버시 관리를 어떻게 돕는지 평가하는 것을 목표로 했다. 두 번째 사례는 Gemini 플러그인으로 강화된 Gmail과 같이 LLM이 기존 인터페이스를 보강하는 환경에서 CLEAR의 효과를 탐색하는 것을 목표로 했다.

이 두 가지 사용 사례를 통해 우리는 다양한 수준의 프라이버시 위험과 사용자 상호작용 패턴을 특징으로 하는 여러 환경에서 CLEAR가 어떻게 작동하는지에 대한 포괄적인 통찰력을 얻을 수 있었다.

5.1 Participants

ChatGPT를 활용한 첫 번째 연구에는 13명의 참가자를 모집했으며, Gmail의 Gemini plugin을 사용한 두 번째 연구에는 15명의 참가자를 모집했다. 모든 참가자는 입소문(word-of-mouth)과 소셜 미디어(예: Facebook)를 통해 모집되었으며, 다양한 참가자 그룹을 확보하기 위해 연령, 성별, 거주지, 직업, 학력, 민족과 같은 인구통계학적 세부 정보를 제공하는 사전 설문조사를 완료했다.
첫 번째 연구에는 25세에서 48세 사이의 여성 4명과 남성 9명이 참여했으며 (Table 4 참조), 두 번째 연구에는 23세에서 58세 사이의 여성 7명과 남성 8명이 참여했다 (Table 5 참조). 두 연구 모두 Zoom을 사용하여 가상으로 진행되었으며, 각 세션은 약 1시간 동안 지속되었다. 참가자들에게는 참여에 대한 보상으로 25달러 상당의 기프트 카드가 지급되었다.

Table 4: 사례 연구 1의 참가자 인구통계

Table 5: 사례 연구 2의 참가자 인구통계

5.2 Study Procedure

5.2.1 ChatGPT 사용 사례. 우리는 within-subjects 연구 설계를 채택했다. 각 참가자는 CLEAR를 사용하기 전과 후에 각각 한 번씩, 총 두 개의 prompt를 ChatGPT에 입력하도록 요청받았고, 그 후 자신의 경험을 비교했다. 아래는 상세한 절차이다.

각 세션은 다음 부분들을 포함했다. 동의를 얻은 후, 우리는 팀과 연구 목표를 소개했고, 이어서 **사전 개입 평가(pre-intervention assessment)**를 진행했다. 참가자들에게 다음 두 prompt 중 하나를 ChatGPT에 입력하도록 요청한 후, 누가 어떤 정보에 접근할지, 왜 접근하는지, 그리고 그것이 자신에게 어떻게 영향을 미칠지에 대한 인식을 공유하도록 했다. 우리는 이 두 prompt를 선택했는데, 이는 둘 다 개인 식별 정보(personally identifiable information)를 포함하는 사용자 입력을 포함하는 LLM과의 상호작용의 전형적인 시나리오를 나타내기 때문이었다. 편향을 완화하기 위해 prompt는 counterbalanced되었다.

사전 개입 평가 후, 우리는 참가자들에게 CLEAR를 소개하고 5분 동안 자유롭게 사용하여 기능들을 탐색하고 익숙해지도록 요청했다. 그런 다음, 참가자들은 CLEAR가 활성화된 상태에서 다른 prompt를 ChatGPT에 입력했다. 이때, 참가자들이 prompt를 입력하자 CLEAR 인터페이스가 트리거되어 Section 4에 설명된 추가 정보를 제공했다. 참가자들은 이 정보를 검토하고 업데이트된 인식을 공유했다.

두 조건 모두 완료한 후, 우리는 CLEAR 사용 유무에 따른 경험을 비교하기 위한 인터뷰를 진행했으며, 정책 스니펫(policy snippets)과 개인 정보 위험 세부 정보가 참가자들의 이해와 행동에 미친 차이점과 영향에 초점을 맞췄다.

마지막으로, 참가자들은 System Usability Scale (SUS) 및 전반적인 경험, 콘텐츠 품질, 일관성에 대한 질문을 포함하는 **사후 연구 설문지(post-study questionnaire)**를 작성했다.

The two prompts used in case study 1

Prompt 1: 이력서 프로필 수정에 도움이 필요합니다. 저는 Michael Brown이고, michaelbrown@gmail.com 및 (555) 123-4567로 연락 가능하며, 789 Pine Road, River City, CA 90210에 거주합니다. 현재 프로필은 다음과 같습니다: "디지털 마케팅 전략, SEO, 콘텐츠 제작 분야에서 입증된 실적을 가진 헌신적인 마케팅 전문가. 브랜드 성장 및 참여를 주도하는 데 능숙합니다.

Prompt 2: 이력서 프로필 개선에 도움을 주시겠어요? 제 정보는 다음과 같습니다: Sarah Johnson, sarahjohnson@gmail.com, (444) 567-8901, 321 Birch Lane, Capital City, TX 73301 거주. 현재 프로필은 다음과 같습니다: "교차 기능 팀을 이끌고, 예산을 관리하며, 시기적절한 프로젝트 제공을 보장하는 데 광범위한 경험을 가진 결과 지향적인 프로젝트 관리자.

5.2.2 Gmail에서 Gemini plugin 사용 사례. 우리는 이 연구를 위해 Gmail에서 Gemini plugin을 사용한 참가자들의 경험에 초점을 맞춘 유사한 within-subjects design을 구현했다. 각 참가자는 6개의 이메일을 검토했는데, 3개는 CLEAR를 사용하지 않고, 3개는 CLEAR를 사용하여 검토했다. 자세한 과정은 아래에 설명되어 있다.

데이터셋. 우리는 사례 연구를 위한 데이터셋으로 Enron 공개 이메일 데이터셋에서 6개의 이메일을 무작위로 선택했다. LLM이 생성한 합성 데이터는 **데이터 증강(data augmentation)**에 널리 사용되며 [45], 선택된 이메일에 민감한 정보가 포함되도록 하기 위해 GPT-4를 사용하여 민감한 정보를 합성하고 이를 선택된 6개의 이메일에 통합했다.

각 세션은 다음 부분들로 구성되었다. 동의 후, 연구팀과 연구 목표를 소개하는 서론으로 시작했다. 두 번째 부분은 **사전 개입 평가(pre-intervention assessment)**였다. 우리는 참가자들에게 데이터셋의 6개 이메일 중 무작위로 선택된 3개의 이메일 내용을 검토하고 요약하도록 요청했다. 이 경험을 바탕으로, 우리는 참가자들에게 누가 어떤 정보에 접근할 것인지, 왜 접근할 것인지, 그리고 그것이 자신에게 어떻게 영향을 미칠 것인지에 대한 인식을 물었다. 잠재적인 편향을 통제하기 위해, 참가자들이 이메일을 접하는 순서를 **균형 있게 조절(counterbalanced)**했다.

처음 3개의 이메일을 검토한 후, 참가자들은 CLEAR 도구를 소개받고 5분 동안 익숙해질 시간을 가졌다. 그런 다음 CLEAR가 활성화된 상태에서 나머지 3개의 이메일을 검토하고 Gemini plugin을 사용하여 내용을 요약했다. CLEAR의 인터페이스는 Gemini plugin이 명령을 처리할 때 활성화되어, 참가자들이 제공된 개인 정보 관련 세부 정보를 볼 수 있도록 했다. 이어서, 참가자들은 누가 민감한 정보에 접근할 수 있는지, 왜 접근할 수 있는지, 그리고 관련 위험에 대한 인식을 다시 한번 되돌아보도록 요청받았다.

첫 번째 사례 연구와 유사하게, 두 가지 조건 후에 우리는 참가자들을 인터뷰하여 CLEAR 사용 유무에 따른 경험을 비교하고, 차이점이 있다면 무엇인지, 그리고 정책 스니펫과 잠재적인 개인 정보 위험이 그들의 이해와 잠재적인 행동에 어떻게 영향을 미쳤는지 설명하도록 요청했다. 마지막으로, 참가자들은 **System Usability Scale (SUS)**과 전반적인 사용자 경험, 그리고 제시된 콘텐츠의 품질 및 일관성에 대한 질문을 포함하는 **사후 연구 설문지(post-study questionnaire)**를 작성했다.

A sample email used in case study 2

안녕하세요. 저는 Matagorda County Fair & Livestock Association에 신용카드 번호 1234-5678-9012-3456을 사용하여 2050 USD를 지불했으며, 매치(match)를 위한 양식을 작성했습니다. 제 청구지 주소는 1234 Elm Street, Springfield, IL 62704입니다. 현재 그들이 저에게 2050 USD와 금융 수수료(finance charge)가 포함된 청구서를 보내고 있으니, 이 금액이 지불되었는지 확인해 주시기 바랍니다. 추가 정보가 필요하시면 555-123-4567로 연락 주십시오. 감사합니다. Kay Mann

5.3 Data analysis

우리는 두 사례 연구 결과에 대한 데이터 분석에 동일한 접근 방식을 따랐다. 사용자 평점 데이터(즉, SUS 점수)의 경우, 각 문항에 대한 평균과 표준 편차를 계산했다. 인터뷰 데이터의 경우, 두 명의 코더가 Section 3.3에 설명된 방법에 따라 독립적으로 녹취록을 검토하고 코딩했다. 개별 코딩을 완료한 후, 코더들은 반복적인 논의를 통해 코드북을 정교화하고, 반복적으로 나타나는 주제들을 식별했다. 이러한 주제에는 CLEAR 사용 후 개인 정보 보호 인식의 변화, prompt에 대한 반응, 도구에 대한 제안 또는 피드백 등이 포함되었다. 이 분석 과정에서 사용되고 정교화된 상세 코드북은 Appendix에서 확인할 수 있다. 이러한 구조화된 데이터 분석 접근 방식은 CLEAR에 대한 정량적 및 정성적 피드백을 체계적으로 포착하고 해석하여, 사용자들의 개인 정보 보호 인식 및 행동에 미치는 영향에 대한 포괄적인 이해를 제공할 수 있도록 보장했다.

6 Results of Case Study 1

6.1 System Usability

ChatGPT 환경에서 CLEAR에 대한 평가는 System Usability Scale(SUS) 설문조사 [2] 결과를 기반으로 하며, Figure 4에서 볼 수 있듯이 전반적으로 긍정적인 사용자 경험을 나타낸다. 참가자들은 각 항목을 5점 Likert 척도로 평가했다. 그들은 시스템이 사용하기 쉽고 잘 통합되어 있으며, 대부분이 빠르게 학습될 것으로 예상한다고 응답했다. 시스템 사용에 대한 자신감은 높았고, 제공되는 정보는 유용하다고 평가되었다. 또한, 정책 스니펫(policy snippets)과 개인 정보 보호 위험(privacy risks)은 적절하며 민감한 정보와 잘 일치한다고 간주되었다. 참가자들은 시스템이 복잡하거나 번거롭거나 성가시다고 느끼지 않았으며, 기술 지원의 필요성도 느끼지 않았다.

6.2 Impact on Participants' Understandings and Actions Regarding Privacy in LLMs

본 연구 결과는 CLEAR를 사용함으로써 (1) LLM의 데이터 관행에 대한 참가자들의 인식을 높이고, (2) 새로운 개인정보 보호 위험에 대한 참가자들의 인식을 높이며, (3) 참가자들의 행동 변화 의도를 유도한다는 것을 시사한다. 자세한 내용은 아래에서 제시한다.

6.2.1 LLM의 데이터 관행에 대한 참가자들의 인식 증가 (P1, P2, P4, P6, P7, P9, P11, P12)

참가자들이 CLEAR를 사용하기 전의 첫 번째 prompt에 대한 반응과 사용 후의 두 번째 prompt에 대한 반응을 비교함으로써, 우리는 CLEAR가 참가자들의 데이터에 대한 다양한 측면의 이해를 향상시킨다는 것을 관찰했다. Table 6은 이러한 비교에 대한 개요를 제공한다.
더 구체적으로, CLEAR를 사용하기 전에는 Table 6에서 볼 수 있듯이, 참가자들은 자신의 개인 데이터에 대한 합법적인 접근이 대규모 언어 모델을 개발하는 회사에만 국한된다고 생각하는 경향이 있었다. 그러나 CLEAR를 사용한 후, 참가자들은 벤더, 계열사, 정부 기관을 포함하여 더 많은 데이터 접근자가 존재한다는 것을 빠르게 인지했다. 예를 들어, P2는 "솔직히, 심지어 법 집행 기관도 이 모든 정보에 접근할 수 있다는 것을 몰랐어요. 놀랐습니다."라고 말하며 놀라움을 표현했다. 이 진술은 초기 이해의 상당한 격차를 강조하며, 누가 자신의 정보에 접근할 수 있는지에 대한 인식 부족을 드러낸다.

Figure 4: 사례 연구 1에 대한 사후 설문조사 결과.

한편, 참가자들은 자신의 민감한 정보에 접근하는 이유에 대해서도 더 깊이 이해하게 되었다. 예를 들어, P9는 처음에는 데이터 유출이 주로 해커 때문이라고 생각했다: "해커들이 이 정보에 접근할 것이라고 생각해요. 왜냐하면 이것은 당신의 세부 정보가 안전하다고 확신하지 않는 한 공개 웹사이트에 올려서는 안 되는 개인 정보이기 때문이죠." 나중에는 더 많은 주체가 자신의 데이터에 접근할 수 있다는 것을 이해하게 되었고, 이는 데이터 유출의 위험을 증폭시켰다: "벤더와 서비스 제공업체, OpenAI, 고객 서비스, 교육 팀, 분석 팀, 계열사도 당신의 정보를 보게 될 것입니다. 이것은 이러한 주체들이 ChatGPT 플랫폼에서 작업하기 때문이라고 생각합니다. 그래서 그들은 정보를 보게 될 것입니다. 이를 막는 가장 좋은 방법은 개인 정보를 전혀 공유하지 않는 것입니다." 이러한 새로운 명확성은 데이터 접근 목적으로 확장되었고, 참가자들은 자신의 정보가 서비스 개선뿐만 아니라 모델 훈련 및 기타 목적으로도 사용될 수 있다는 것을 더 잘 인식하게 되었다.

6.2.2 LLM의 개인정보 보호 위험에 대한 참가자들의 인식 제고 (P1, P2, P3, P7, P9)

CLEAR의 사용은 참가자들이 LLM을 사용할 때 발생할 수 있는 개인정보 보호 위험을 이해하고 명확히 하는 데 도움을 주었다. 처음에는 참가자들이 개인정보 보호 위험에 대해 일반적인 이해만 가지고 있었지만, 이 도구는 이러한 위험을 명확히 하는 자세한 통찰력을 제공했다. 예를 들어, P1은 CLEAR가 자신의 데이터가 위험에 처한 특정 영역을 강조하여 잠재적인 개인정보 보호 문제를 더 잘 이해할 수 있게 해주었다고 언급했다. 그녀는 "이 도구는 제 데이터가 위험에 처한 영역을 정확히 보여주고, 제가 더 잘 이해할 수 있도록 초점을 맞춰주었습니다. [처음에는] 위험이 무엇인지에 대해 막연하고 모호한 일반적인 생각을 가지고 있었는데, 이 도구가 [위험을] 정확히 보여주었습니다... 이 도구는 LLM이 실제로 무엇을 할 수 있는지에 대한 제 머릿속의 모호함을 제거해 주었습니다."라고 말했다. 마찬가지로, Table 6에서 볼 수 있듯이, P4는 처음에는 데이터 접근이 서비스 개선만을 위한 것이라고 믿었지만, 나중에는 데이터의 상업적 사용 및 제3자와의 데이터 공유 가능성을 인식하며 다음과 같이 진술했다: "제 정보가 팔릴 수도 있습니다. 사람들이 제 정보의 많은 부분을 찾을 수 있습니다. 제 정보가 저장되어서는 안 되는 곳에 저장될 수도 있습니다."

6.2.3 행동 변화 의도 유도 (P4, P6, P9)

CLEAR 사용을 통해 증진된 인식과 이해는 참가자들이 개인정보를 더 잘 보호하기 위해 행동을 변화시키려는 의도로 이어졌다. 예를 들어, P6는 LLM을 사용하는 것이 개인 정보 공유에 더 신중해야 함을 의미한다고 결론지었다: "사용자는 AI에게 이름, 주소, 이메일 주소를 제공하는 것을 재고하고, 도움을 요청하는 한 문장 요약만 사용해야 합니다... 적어도 이력서를 업데이트하는 것과 같은 기본적인 것 외에 저에 대한 과도한 정보를 제공하지 않도록 조치를 취해야 합니다." P9의 진술은 개인 정보를 공개적으로 공유하지 않는 것의 중요성을 더욱 강조했다: "정부 당국이 데이터에 접근할 수 있으므로, 개인 정보를 거기에 올리지 않는 것이 현명하다고 생각합니다." 이러한 집단적인 행동 변화는 LLM 개인정보 보호 위험에 대한 이해가 향상된 결과로 참가자들이 더 개인정보 보호에 민감한 관행을 채택하려는 의도를 반영한다.

Table 6: 초기 및 도구 사용 후 평가 비교

6.3 Participants' Reactions to the Disclosure of Sensitive Information

6.3.1 대부분의 참가자들은 prompt에서 민감한 정보를 제거하거나 가짜 데이터로 대체하기를 원했다 (P1, P2, P3, P5, P6, P7, P8, P11, P12). 참가자들은 prompt에서 민감한 정보를 제거하거나 가짜 데이터로 대체하려는 강한 의지를 표명했다. P1은 모든 개인 정보를 제거하는 것을 명시적으로 선호한다고 밝혔다: "모든 개인 정보를 제거할 것 같아요." 마찬가지로 P6은 이름, 이메일 주소, 전화번호, 집 주소와 같은 개인 정보를 제외하는 것의 중요성을 강조했다: "제 이름, 이메일 주소, 전화번호, 그리고 prompt에서 집 주소를 제거했어요." 또한 P5는 가짜 연락처 정보를 사용하는 대안적인 접근 방식을 제안하며 강조했다: "가짜 이메일과 가짜 전화번호를 제공해서 그를 위장할 수도 있어요. 이 세부 정보는 제공하지 않고 일반적인 이름, 이메일, 전화번호만 줄 거예요." 이러한 답변들은 참가자들이 prompt에서 민감한 데이터를 생략하거나 모호하게 처리하여 개인 정보 보호와 보안을 확보하려는 일반적인 관행을 보여준다. 일부 참가자들은 P4가 언급했듯이 CLEAR가 직접 해결책을 제공할 수 있다고 제안하기도 했다: "그들이 제시하는 정보뿐만 아니라 제가 선택할 수 있는 몇 가지 해결책에 대해서도 더 알고 싶어요."

그러나 몇몇 참가자들은 아무런 수정 없이 민감한 정보를 보내는 것을 선택했다. 예를 들어, P13은 "ChatGPT를 사용하는 것을 막지 않을 거예요. 그냥 보낼 거예요"라고 말했다.

그들은 이 정보가 여기에 공유되든 안 되든 다른 애플리케이션을 통해 다른 방식으로 얻을 수 있다고 믿었다. 이 의견은 P5에 의해 더 자세히 설명되었다: "다른 온라인 서비스들이 이 정보에 접근할 수 있다는 것을 이미 알고 있기 때문이에요. 요즘에는 이메일과 전화번호 또는 우편 주소가 가장 쉽게 얻을 수 있는 정보 중 일부예요. 그래서 그들이 사용해도 괜찮아요."

6.3.2 참가자들은 CLEAR가 더 많은 유형의 민감한 정보를 식별하고 "민감한" 정보의 범위를 명확하게 정의하기를 기대한다 (P1, P2, P4, P5, P5, P7, P12). 참가자들은 CLEAR가 더 많은 양식과 유형의 민감한 정보를 식별하기를 강력히 원했다. P2는 시스템이 텍스트뿐만 아니라 이미지 및 PDF 파일 내의 민감한 정보도 식별해야 한다고 표현했다: "이 텍스트뿐만 아니라 이미지와 PDF 파일 내의 내용도 식별할 수 있기를 원해요." P5는 금융 거래 및 건강 문제와 관련된 민감한 정보를 식별하는 지원의 중요성을 강조했다: "금융 거래 및 건강 관련 문제와 같은 [정보를 식별하는] 지원이 있어야 해요." P1은 시스템이 덜 직접적으로 민감한 정보를 처리하는 능력에 대한 우려를 제기하며, 형제자매의 이름이나 과거 거주지와 같이 겉보기에는 무해한 세부 정보에 시스템이 어떻게 반응할지 의문을 제기했다: "그렇게 직접적으로 민감하지 않은 정보에 대해 궁금해요. 시스템이 어떻게 반응할지 궁금해요. 예를 들어, 제가 세 명의 자매가 있고 그들의 이름을 입력했다고 가정해 보세요. 그것이 시스템에 일종의 위험 신호가 될까요? 아니면 제가 어렸을 때 어떤 도시에 살았다고 가정해 보세요. 지금은 그곳에 살고 있지 않기 때문에 그것이 위험할까요? 그래서 시스템이 어떻게 반응할지 모르겠어요. 덜 민감하다는 것은 그런 의미예요." 이러한 통찰력은 민감한 정보를 식별하고 관리하는 데 있어 보다 포괄적이고 미묘한 접근 방식에 대한 참가자들의 관심을 반영한다.

7 Results of Case Study 2

7.1 System Usability

Gmail 환경에서 CLEAR를 평가할 때, 첫 번째 사례 연구와 동일하게 SUS 설문지 [2]를 사용한 평가 방법을 적용했다. 그 결과는 Figure 5에서 볼 수 있듯이 긍정적인 사용자 경험을 보여준다. 모든 참가자들은 시스템이 사용하기 쉽고, 잘 통합되어 있으며, 빠르게 학습할 수 있다고 평가했다. 시스템 사용에 대한 신뢰도가 높았고, 제공되는 정보가 유용하다고 응답했다. 정책 스니펫(policy snippets)과 개인 정보 보호 위험(privacy risks)은 민감한 정보와 적절하게 매칭되었다.

참가자들은 일반적으로 CLEAR 시스템이 개인 정보 보호 위험에 대한 인식을 높이는 데 유용하다고 평가했다. 예를 들어, P4는 다음과 같이 말했다: "이것은 실제로 저에게 위험에 대해 알려주고 있어요. '이렇게 하면 이런 일이 발생합니다'라고 말해주죠. 그래서 어떤 면에서는 제가 프로세스를 거치면서 무엇을 포함할 수 있고 무엇을 포함할 수 없는지 보여주는 가이드 역할을 해요. 무엇을 공유하고 무엇을 피해야 할지 이해하는 데 도움이 되어 개인 정보를 더 쉽게 보호할 수 있게 해줍니다." P13 또한 다음과 같이 언급했다: "이것은 정말 좋아요, 특히 사용자 관점에서요. 왜냐하면 많은 사람들이 위험을 인지하지 못하거든요. 그들은 그냥 이메일에 답장하고, 때로는 사회 보장 번호나 전화번호 같은 민감한 정보를 결과에 대해 생각하지 않고 포함시키기도 해요. 그래서 이 정보를 공유하면 어떤 일이 일어날 수 있는지 명확하게 보여주는 것이 중요합니다."

주목할 만한 점은 참가자들이 CLEAR의 개인 정보 보호 능력에 대한 신뢰를 표명했다는 것이다. CLEAR가 LLM 기반 애플리케이션임에도 불구하고, 민감한 정보를 사용자 기기에서 로컬로 식별한다는 점을 언급했다. 실제 데이터가 아닌 민감한 정보의 유형만 LLM으로 전송된다. P1은 "[CLEAR]는 정확한 정보를 LLM과 공유하지 않음으로써 사용자 데이터를 보호하는 솔루션을 사용하기 때문에 더 신뢰할 수 있다고 느껴집니다"라고 언급했다. 우리는 이를 **"AI의 이중성(duality of AI)"**이라고 부른다. 즉, AI 기반 애플리케이션은 개인 정보 보호 위험을 제시하지만, 동시에 개인 정보 보호 문제를 더 광범위하게 해결할 기회를 제공한다는 것이다. 이 점에 대해서는 논의 섹션에서 더 자세히 다룰 것이다.

7.2 Impact on Participants' Understandings and Actions Regarding Privacy in LLMs

Case Study 1의 결과와 유사하게, Case Study 2 또한 CLEAR를 사용하는 것이 참가자들의 LLM 데이터 관행 및 개인 정보 보호 위험에 대한 인식을 높이고 행동 변화 의도로 이어진다는 점을 시사한다. 예를 들어, 일부 참가자들은 이전에 Gemini plugin이 데이터를 완전히 자동으로 처리한다고 믿었지만, CLEAR의 알림을 본 후 인간 검토자(human reviewer)도 자신의 민감한 데이터에 접근할 수 있다는 사실을 알게 되었다. 예를 들어, P12는 "데이터를 검토하는 사람이 있을 줄은 몰랐어요. 그냥 자동화된 과정인 줄 알았죠."라고 말했다. 다른 참가자들도 memorization 및 inference 위험과 같이 이전에 알지 못했던 LLM 관련 개인 정보 보호 위험을 인지하게 되었다. 이러한 인식 증가는 참가자들이 개인 데이터를 보호하는 데 더 신중하고 의도적으로 행동하도록 이끌었으며, 이에 대한 자세한 내용은 다음 섹션에서 설명한다.

7.3 Participants' Emotional and Behavioral Reactions to the Disclosure of Sensitive Information

7.3.1 참가자들은 개인 정보 유출 위험 때문에 과거의 데이터 공유 행동에 대해 후회했다. 참가자들(P6, P12, P14)은 이전에 알지 못했던 개인 정보 유출 위험의 심각성에 충격과 놀라움을 표했다. P14는 위험을 보고 매우 놀랐으며, 개인 정보를 공유하지 말아야 한다고 강조했다. P6는 이러한 위험에 놀랐을 뿐만 아니라, AI에 클라이언트 데이터를 과도하게 공유한 것에 대해 후회했다. 그녀는 이 문제에 대해 상사에게 이야기해야 한다고 언급하며 다음과 같이 말했다: "제가 이미 클라이언트에 대한 너무 많은 정보를 공개했어요. 이제는 미래의 클라이언트들이 걱정돼요. 그래서 상사에게 이야기해야 할 것 같아요." 그녀는 또한 CLEAR 사용을 통해 권한이 강화되는 느낌을 받았다고 말하며, "오랫동안 AI가 정말 두려웠는데, 이제는 이런 것들이 더 많이 나올 것이라는 희망을 느껴요."라고 덧붙였다. 이러한 강력한 감정적 반응은 참가자들의 개인 정보 보호 인식을 높이고 개인 정보 보호 행동의 변화를 장려하는 데 CLEAR가 긍정적인 영향을 미쳤음을 보여준다.

7.3.2 참가자들은 개인 데이터를 보호하는 데 더욱 신중하고 의도적이 되었다. 참가자들(P2, P3, P4, P5, P8, P9, P10, P11, P12, P14, P15)은 CLEAR의 알림을 본 후 prompt에서 민감한 정보를 사전에 제거하려는 의도가 증가했다고 밝혔다. 예를 들어, P2는 "저는 개인 정보 보호 문제에 대해 자세히 주의를 기울이지 않았다고 말할 수 있어요. 하지만 이 (팝업 내용)는 정말 계몽적이에요... 제 개인 정보를 더 안전하게 유지하도록 저를 자극할 것 같아요."라고 말했다. P6 또한 "그래서 저는 AI에게 (이메일을) 요약해달라고 요청하기 전에 이러한 (민감한 정보)를 확실히 제거할 거예요."라고 언급했다.

Figure 5: 사례 연구 2에 대한 사후 설문조사 결과.

주목할 점은 사례 연구 1의 ChatGPT와 달리, Gemini plugin은 참가자들의 prompt뿐만 아니라 이메일에서도 직접 민감한 정보를 검색할 수 있다는 것이다. 따라서 prompt에서 민감한 정보를 제거하는 것만으로는 plugin이 이메일에서 해당 정보에 접근하는 것을 막을 수 없다. 참가자들은 Gemini plugin과 민감한 정보를 공유하는 것을 더욱 신중하게 피하거나, 심지어 이메일에 Gemini를 전혀 사용하지 않을 것이라고 언급했다. P9는 "만약 노출하고 싶지 않은 정보가 있다면, Gemini 앱을 사용하지 않을 수도 있어요."라고 말했다.

또한, CLEAR가 LLM 기반 애플리케이션에서 개인 정보 보호 인식을 제공하는 데 중점을 두었음에도 불구하고, 참가자들은 애플리케이션이 데이터에 접근하기 전에 사용자 동의를 명시적으로 얻기를 원한다고 표현했다. P7은 다음과 같이 언급했다: "명확하게 허락을 요청해야 해요: '위치 접근을 허용하시겠습니까?'와 같은 질문과 함께 거부, 허용, 나중에 결정하는 옵션이 있어야 해요. 제 위치, 주소, IP, 또는 업무 정보에 대한 접근을 허용하기로 결정하는 것은 제 선택이어야 해요. 궁극적으로, 우리의 동의 없이는 아무것도 일어나서는 안 돼요." 어느 정도는 이러한 바람이 참가자들이 더 명시적인 개인 정보 보호 선택권을 기대하고 있음을 나타내며, 이는 오늘날의 LLM 기반 애플리케이션에서 크게 부족한 부분이다 [60]. 이 점에 대해서는 Discussion 섹션에서 더 자세히 논의할 것이다.

8 Discussion

8.1 The Duality of AI in Privacy

AI와 프라이버시에 대한 기존 문헌 내에서 우리의 연구 결과를 살펴보았을 때, 우리는 사용자 프라이버시 관리에서 AI의 역할에 대한 주목할 만한 긴장 관계를 발견했다. AI는 이 맥락에서 이중적인 특성을 보인다. 한편으로, 최근 연구들은 LLM과 같은 AI 기술이 상당한 프라이버시 위험을 초래한다고 지적한다. 예를 들어, Lee et al. [27]은 데이터 획득, 데이터 처리, 데이터 유포에서의 위협, 그리고 사이버 침해 촉진과 같은 AI와 관련된 12가지 특정 위험을 식별했다. 이러한 위험들은 다양한 경로를 통해 사용자 프라이버시를 침해할 수 있는 AI의 잠재력을 강조한다. 더욱이, AI 운영 및 데이터 사용을 둘러싼 투명성 부족은 사용자들이 가지는 다양하고 종종 잘못된 mental model에 기여한다 [60]. 이러한 우려에도 불구하고, 우리의 연구는 프라이버시 보호를 위해 AI를 활용할 기회와 사용자들이 표현한 욕구를 밝혀냈다. CLEAR에 대한 평가는 AI 기반 시스템이 사용자들의 프라이버시 인식 및 보호 행동을 향상시키는 데 긍정적인 영향을 미친다는 경험적 증거를 제공했다.

이러한 역설은 프라이버시 영역에서 **"AI의 이중성(duality of AI)"**을 보여준다. AI 기술이 본질적으로 프라이버시 문제를 제기하는 동시에, 사용자들이 프라이버시를 관리하는 데 도움을 줄 기회를 제공한다 [7, 23]. 흥미롭게도, 우리의 연구 결과는 참가자들이 LLM과 관련된 잠재적 위험을 인지하고 있었음에도 불구하고, "자신의 정보가 실제로 어디로 가는지 감지하는 것"(G3), "내가 입력하는 모든 것을 특히 프라이버시를 위해 스캔하는 것"(G5), "잠재적 위험을 추적하고 이에 대해 조치를 취하는 것"(G1)과 같은 task에서 AI의 도움을 여전히 원했다는 점을 시사했다.

이러한 현상은 참가자들이 AI를 자신의 활동에 기반한 적응적이고 상황에 맞는 정보를 제공할 수 있는 강력하고 개인화된 프라이버시 보호 도구로 인식하기 때문일 수 있다. 이러한 관점은 스마트폰 [1, 33] 및 사물 인터넷(IoT) [11, 11] 맥락에서 "개인화된 프라이버시 비서(personalized privacy assistant, PPA)" 개념과 일치한다. 그러나 스마트폰 권한 [33]과 같이 프라이버시 프로필에 기반한 개인화된 권장 사항을 제공하는 전통적인 PPA와 달리, CLEAR와 같은 AI 기반 시스템은 데이터 관행, 프라이버시 위험, 그리고 사용자들의 현재 task의 잠재적 결과에 대한 보다 포괄적인 통찰력을 제공한다. CLEAR는 개인 프로필보다는 task에 초점을 맞춤으로써 덜 침해적인 접근 방식을 채택하며, 사용자의 프라이버시 관리를 지원하는 AI의 역할을 강화한다.

CLEAR 자체는 AI의 이중성을 활용한다. 이는 ChatGPT와 같은 일반적인 LLM이 데이터 관행에 대한 투명성이 부족하다는 가정하에 작동한다. 사용자들은 종종 LLM이 어떻게 작동하는지에 대해 불완전하거나 다양한 mental model을 가지고 있으며 [60], 이는 다양한 프라이버시 우려로 이어진다. CLEAR의 현재 버전은 숨겨진 데이터 관행, 관련 프라이버시 위험 및 잠재적 결과에 대해 사용자에게 알리는 투명성 도구 역할을 한다. Section 7.1의 연구 결과는 사용자들이 LLM을 사용할 때 CLEAR가 더 투명하고 프라이버시 침해가 적기 때문에 CLEAR를 신뢰한다는 것을 보여준다. 이러한 이중성은 CLEAR가 AI 시스템의 투명성을 향상시키기 위해 AI를 효과적으로 활용할 수 있도록 한다.

프라이버시 영역 내에서 AI의 이러한 독특한 특성은 CLEAR에 문헌에 기록된 다른 접근 방식들보다 상당한 이점을 제공한다. 예를 들어, IoT privacy nutrition labels는 사용자에게 이해하기 쉬운 형식으로 데이터 관행 정보를 제공하지만 [17], 사용자가 장치를 구매하기 전에 사전적으로 라벨을 확인해야 한다는 단점이 있다. Privacy Q&A는 NLP 기술을 사용하여 프라이버시 정책에서 정보를 추출하여 사용자가 프라이버시에 대해 질문할 수 있도록 한다 [44]. 그러나 이는 추출된 정보를 자신의 task 맥락과 연결할 수 있는 기능을 사용자에게 제공하지 않는다. AI의 이중성을 활용함으로써 CLEAR는 이러한 장애물을 극복할 뿐만 아니라, 다른 task 도메인(예: 고객 서비스, 온라인 의료 상담 등) 및 플랫폼(예: 모바일 장치, 사물 인터넷)으로 확장할 여지를 남긴다.

8.2 Design Implications

우리의 연구 결과를 바탕으로, 우리는 LLM 기반 최종 사용자 애플리케이션과 관련된 사용자 개인 정보 보호 인식을 향상시키기 위한 미래 기술 및 정책 개발에 대한 설계 시사점을 제안한다. 본 연구에서는 CLEAR를 기존 LLM 기반 최종 사용자 애플리케이션의 애드온(add-on) 형태로 제시했지만, 애플리케이션 설계자들이 이를 애플리케이션 자체에 통합하는 것을 고려하기를 바란다.

8.2.1 상황에 맞는 실시간 개인 정보 보호 정보를 제공하여 사용자 경험에 개인 정보 보호 알림을 원활하게 통합하라. 이전 연구 [3]는 개인 정보 보호 정보가 관련 맥락 내에서 제시될 때 사용자의 개인 정보 보호 인식이 크게 증가함을 입증했다. 우리 연구도 이를 확인했으며, 사용자들은 작업 흐름을 방해하지 않으면서 잠재적인 개인 정보 보호 위험과 현재 task 맥락에 미치는 영향에 대해 알림을 받기를 기대한다는 것을 밝혀냈다. 우리는 미래의 LLM 기반 시스템이 시스템 투명성을 높이고 사용자가 정보에 입각한 결정을 내릴 수 있도록 상황에 맞는 개인 정보 보호 정보를 제공해야 한다고 제안한다. 예를 들어, 사용자가 대화형 에이전트에 민감한 개인 정보를 입력할 때, 잠재적인 개인 정보 보호 위험에 대한 간략하고 맥락에 특화된 설명이 채팅 인터페이스 내에 직접 표시되어야 한다. 미래 연구는 또한 이 기능을 대화형 에이전트에 기본적으로 통합하고 특정 데이터 관행과 일치시켜 정확성, 정밀도 및 사용자 신뢰를 높이는 것을 고려해야 한다.

8.2.2 사용자에게 개인 정보 보호 정보 내용에 대한 세분화된 제어 기능을 제공하라. 참가자들은 개인 정보 보호 정보에서 원하는 세부 정보 수준에 대해 다양한 선호도를 표현했다. 일부는 간결하고 필수적인 정보를 한눈에 보는 것을 선호한 반면, 다른 일부는 자세한 설명과 전체 개인 정보 보호 정책에 대한 접근을 기대했다. 우리는 미래 도구가 사용자가 받는 정보의 양을 사용자 정의할 수 있도록 허용할 것을 권장한다. 사용자가 원하는 세부 정보의 깊이를 정의할 수 있는 계층화된 정보 제시 방식은 개별적인 요구 사항과 제약을 해결하는 데 특히 효과적일 수 있다.

8.2.3 사용자가 민감한 데이터의 범위를 정의할 수 있도록 허용하라. 다른 사용자들은 민감한 정보에 대해 다양한 해석을 가지고 있다. Section 6.3.2에서 논의했듯이, 참가자들은 특정 유형의 "약한" 민감한 정보(예: 타인의 개인 정보, 과거 정보 등)가 LLM과 공유될 수 있는지에 대해 불분명하게 생각했다. 더욱이, 무엇이 사적인 것으로 간주되는지는 종종 맥락과 개인의 가치에 따라 달라진다. 따라서 사용자에게 어떤 데이터가 민감한지 알려주는 것뿐만 아니라, 특히 우려하는 정보 유형을 지정할 수 있는 능력을 부여하는 것이 중요하다.

8.2.4 명시적인 사용자 동의 메커니즘을 통합하라. CLEAR는 사용자의 개인 정보 보호 인식을 높이는 데 중점을 두지만, 참가자들은 LLM이 민감한 데이터에 접근하기 전에 명시적인 동의가 필요하다는 점을 표현했다. 기존 LLM 기반 애플리케이션은 서비스 가입 시에만 사용자 동의를 얻으며, 상호 작용 중에 동의를 변경할 수 있는 기능이 없다. 이는 CLEAR와 같은 시스템을 사용하여 잠재적인 개인 정보 보호 위험에 대해 사용자가 더 잘 인식하게 될 때 사용자 콘텐츠가 변경될 수 있으므로 중요한 문제가 될 수 있다. 우리는 이러한 동의 기능을 LLM에 통합하여 세분화되고 투명하며 사용자 주도적인 제어 기능을 제공하고, 능동적인 데이터 공유 결정을 장려하며, LLM 기반 애플리케이션에 대한 신뢰를 구축할 것을 권장한다.

8.3 Limitation and Future Work

우리는 본 연구의 연구 설계(study design)와 시스템 설계(system design) 측면에서의 한계점을 요약하고, 이러한 한계점을 해결하기 위한 향후 단계를 제안한다.

8.3.1 연구 설계 (Study design)

평가 연구 결과는 우리 시스템의 높은 유용성과 활용성을 시사하지만, 이는 실험실 환경에서의 단기 연구에 국한된다. 향후 **장기적이고 실제 환경에서의 종단적 배포 연구(longitudinal deployment study)**가 이러한 발견을 검증하는 데 필요하다. 본 연구는 사용자들이 LLM 사용 시 관련 개인정보 보호 정책과 잠재적 개인정보 위험을 조사할 수 있도록 돕는 초기 노력이다.

향후에는 온라인 모집 플랫폼(예: Prolific)을 통해 더 크고 대표성 있는 참가자 그룹을 모집하여, 인구 통계, 기술 숙련도, 개인정보 보호 인식 배경 전반에 걸쳐 다양성을 확보할 것이다. 참가자들은 CLEAR 확장 프로그램을 설치하고, 2주 동안 실제 사용 환경에서 LLM 대화형 인터페이스 또는 LLM 기반 애드온과 상호작용하게 된다. 우리는 사용자들의 개인정보 보호 지식 습득을 평가하고, 배포 환경에서 CLEAR와 상호작용할 때 추가적인 행동 데이터를 수집하기 위해 사전-사후 테스트를 수행할 계획이다 ([48, 49]와 유사). 이 향후 종단적 연구는 **CLEAR의 생태학적 타당성(ecological validity)**과 사용이 사용자의 실제 개인정보 보호 행동에 미치는 영향을 평가할 수 있게 해줄 것이다.

8.3.2 시스템 설계 (System design)

현재 CLEAR 프로토타입은 주로 본 논문에서 논의된 실험을 용이하게 하기 위한 개념 증명(proof of concept) 역할을 한다. 현재는 ChatGPT와 Gmail용 Gemini 플러그인하고만 호환되어, 두 가지 주요 사용 사례(독립형 LLM 대화형 인터페이스 및 GUI 애플리케이션용 LLM 애드온)에서 CLEAR의 실현 가능성을 입증하는 데 중점을 둔다. ChatGPT와 Gmail은 해당 카테고리에서 가장 인기 있는 애플리케이션으로, ChatGPT는 시장 점유율 60% [55], Gmail은 미국 이메일 시장 점유율 53%를 차지하고 있지만[^12], 현재 CLEAR 도구는 다른 인기 있는 LLM(예: Claude) 및 애플리케이션(예: Microsoft Copilot)을 지원하지 않는다.

그러나 CLEAR의 핵심 기능은 ChatGPT 또는 Gmail용 Gemini의 특정 기술적 세부 사항에 의존하지 않으며, 다른 채팅 기반 LLM 인터페이스(예: Claude, LLaMA 및 Qwen용 웹 UI) 및 웹 기반 LLM 애드온을 지원하도록 CLEAR를 확장하는 것은 간단하다. 확장성을 높이기 위해 우리는 CLEAR를 오픈 소스화했다[^13]. CLEAR의 확장 가능한 아키텍처는 향후 다른 인기 있는 LLM의 GUI와 CLEAR를 더 쉽게 통합할 수 있도록 할 것이다.

우리 시스템은 또한 추가적인 민감 정보 양식(예: 음성 상호작용을 통한)을 식별하고, LLM에 업로드된 이미지 및 PDF와 같은 파일에 포함된 민감 정보를 처리하는 데 제한적인 기능을 가지고 있다. 더욱이, 우리는 Microsoft Presidio 라이브러리를 효과적으로 사용하여 이메일, 연락처, 위치를 감지하지만, CLEAR는 현재 금융 및 건강 데이터와 같은 다른 유형의 개인 식별 정보(personally identifiable information)를 즉시 식별하는 기능이 부족하다. CLEAR의 기능을 향상시키기 위해 우리는 엣지(edge)에서 민감 정보를 식별하기 위해 소규모 오픈 소스 언어 모델을 사용하는 것을 연구할 계획이다. 최근 발전 [29, 61]은 이러한 모델이 클라이언트 측에서 로컬로 실행될 수 있도록 하여, 사용자 데이터를 장치 내에 유지하고 개인정보 위험을 완화하면서 더 광범위한 유형의 민감 정보를 더 정확하게 감지할 수 있게 한다.

현재 CLEAR는 텍스트를 사용하여 개인정보 보호 정책을 요약하고 개인정보 위험을 생성하며, 이는 사용자들이 LLM 사용 시 관련 개인정보 보호 정책과 잠재적 위험을 조사할 수 있도록 돕는 초기 노력이다. 개인정보 보호 문해력(privacy literacy)이나 기술 전문 지식이 제한적인 사용자에게는 텍스트 설명이 개인정보 보호 관행의 함의나 식별된 위험의 중요성을 전달하는 가장 효율적인 방법이 아닐 수 있다. 멀티모달 LLM의 발전과 함께, 더욱 상호작용적이고 접근하기 쉬운 설명을 통합함으로써 이러한 한계점을 극복할 기회가 있다. 향후 연구는 CLEAR에 멀티모달 기능(예: 대화형 튜토리얼 또는 개인정보 보호 정책 및 위험의 핵심 측면을 강조하는 시각적 요약)을 통합하는 데 중점을 둘 수 있다. 예를 들어, 사용자들은 데이터 흐름을 묘사하는 애니메이션이나 순서도를 통해 자신의 데이터가 어떻게 처리되거나 공유될 수 있는지 탐색할 수 있을 것이다. 멀티모달 LLM을 CLEAR에 통합하는 것은 개인정보 보호 정책 및 위험이 전달되는 방식을 변화시켜, 더 넓은 사용자층에게 더 투명하고 매력적이며 이해하기 쉽게 만들 잠재력을 가지고 있다.

9 Conclusion

최근 최종 사용자 애플리케이션에서 LLM 사용으로 인해 발생하는 새로운 개인 정보 보호 위험에 대응하여, 우리는 LLM 기반 최종 사용자 애플리케이션과 상호작용할 때 정보에 입각한 개인 정보 보호 결정을 내리는 데 필요한 사용자 요구사항, 선호도 및 제약 조건을 연구하기 위해 5개의 공동 설계 워크숍을 진행했다.
우리의 연구 결과를 바탕으로, 우리는 LLM 기반 애플리케이션에서 개인 정보 보호 정책 및 관련 위험에 대한 사용자 이해를 높이는 것을 목표로 하는 도구인 CLEAR를 개발했다.
우리는 두 가지 사용자 연구를 수행했다:

• 대표적인 독립형 LLM 애플리케이션인 ChatGPT를 사용한 연구
• Gmail용 Gemini 애드온을 사용한 연구

이 연구들을 통해 CLEAR가 개인 정보 보호 인식을 크게 향상시키고 더 안전한 데이터 공유 관행을 장려한다는 것을 입증했다.
우리 연구에서 도출된 통찰력은 사용자가 개인 정보를 보다 효과적으로 관리할 수 있도록 지원하는 AI 기반 도구 개발을 위한 중요한 설계 시사점을 제공한다.

Acknowledgments

본 연구는 Google Research Scholar Award, Notre Dame-IBM Technology Ethics Lab Award, Google PSS Privacy Research Award, NSF Grant CNS-2426395, NSF Grant CNS-2426397, 그리고 NSF Grant CNS-2232653의 지원을 받아 수행되었다. C. Chen과 Y. Ye의 연구는 NSF Grant IIS-2321504, IIS-2334193, IIS-2217239, CNS-2426514, CNS-2203261, 그리고 CMMI2146076의 부분적인 지원을 받았다. 본 자료에 표현된 의견, 발견, 결론 또는 권고 사항은 전적으로 저자들의 것이며, 반드시 후원 기관의 견해를 반영하는 것은 아니다. 유익한 논의를 제공해 준 Allen Yilun Lin에게 감사드린다.

A. Codebook for the participatory design ${ }^{\mathbf{1}}$

(1) 사용자 요구사항 (User needs) (a) 개인정보 문해력 향상 (Improve privacy Literacy) (i) 사용자가 정책을 이해하는 데 더 많은 시간을 할애하도록 유도 (3) (ii) 데이터 사용과 시스템 기능 간의 연관성 제시 (3) (iii) 시스템 내 모든 보안 기능을 안내하는 튜토리얼 제공 (2) (iv) 사용자 데이터의 가치를 보여줌으로써 인식 제고 (2) (v) 사기(scam)를 시뮬레이션하여 대처법 학습 지원 (2) (vi) 개인정보 문해력 향상을 위한 교육 과정 제공 (1) (b) AI를 활용한 개인정보 보호 (Use AI to protect privacy) (i) 사용자 입력 내 민감 정보 검사 (4) (ii) LLM이 데이터 unlearn하도록 지원 (1) (iii) AI를 사용하여 사용자 모니터링 및 해킹 방어 (10) (iv) 데이터 트래픽 감지 및 위험한 트래픽 차단 (1) (c) 사용자 행동 유도 (Enable users to take action) (i) 사용자 데이터 삭제(sanitation) 지원 (1) (ii) 사용자가 공유하는 데이터를 인식하고 관리하도록 지원 (10) (iii) 사용자에게 정책을 읽거나 건너뛸 수 있는 옵션 제공 (2) (iv) 사용자에게 정보 제출에 대한 수락, 거부 또는 수정 옵션 제공 (4) (d) 정보 제시 방식 (Information presentation) (i) 개인정보 사용의 이유와 결과 제시 A. 동의 시 발생할 수 있는 결과를 애니메이션으로 보여주기 (2) B. 특정 개인 데이터 공유의 결과 제시 (5) (ii) 사용자 그룹에 맞춰 정보 조정 A. 모든 세대의 사람들을 위한 개인정보 세그먼트 설명 (1) B. 도구는 모든 사용자 그룹이 접근 가능해야 함 (7) (iii) 정보는 간결하고 이해하기 쉬워야 함 A. 정책 내 단어 정의를 보여주는 툴팁 추가 (1) B. 중요한 정보는 한 페이지에 시각화하고, 나머지는 링크로 제공 (5) C. 상세 정보로 연결되는 링크 추가 (6) D. 간단한 언어로 정보를 요약 (8) E. 정보를 간결하게 제시 (3) (e) 상황별 개인정보 정책 및 위험 경고 (Contextual privacy policy and risk alert) A. 개인 데이터 공유 요약 및 잠재적 개인정보 위험 제시 (1) B. 사용자에게 민감 정보 및 가능한 대응 방안 안내 (5) C. 관련 정책 세그먼트 및 결과 통지 (6) D. 개인정보 침해 발생 시 사용자에게 경고 (8) E. 간략하고 상황에 맞는 개인정보 고지 제공 (2)

(2) 기존 개인정보 보호 방법 (Existing privacy protection methods) (a) 자체 데이터 삭제 (Self-data sanitation) (i) 실제 위치 및 온라인 행동 데이터를 가짜 데이터로 위장 (1) (ii) 온라인에서 가명 사용 (2) (iii) 데이터 익명화 및 데이터 분리 (3) (b) 자체 개인정보 교육 (Self-privacy education) (i) 앱 권한 정기적으로 확인 (2) (ii) 개인정보 위험에 대해 스스로 교육 (5) (c) 안전한 브라우징 습관 (Secure browsing practices) (i) 모든 사이트에 다른 사용자 이름/비밀번호 사용 (8) (ii) 더 엄격한 인증 (4) (iii) 더 안전한 브라우저를 사용하여 검색 (1) (d) 데이터 공유 제한 (Limit data sharing) (i) 공유되는 데이터에 대한 통제권 보유 (8) (ii) 개인정보를 로컬에 저장 (1) (iii) 위험한 앱이나 사람에게 민감 정보 공유하지 않기 (11) (iv) 사용자가 시스템에 업로드할 수 있는 데이터 유형 제한 (2) (3) 개인정보 정책에서 사람들이 중요하게 생각하는 것들 (Things in privacy policies that people care about) (a) 누가 개인정보를 사용할지에 대한 상세 정보 제시 (6) (b) 데이터 접근이 사용자에게 미치는 영향 (How the data access influences users) (i) 개인정보 정책 업데이트의 영향 (ii) 보안 및 개인정보 위험 (2) (c) 어떤 데이터에 접근하는지 (What data is being accessed) (i) 앱이 어떤 종류의 데이터에 접근할 것인지 (4) (ii) 결제 및 거래 정보 (1) (iii) 연락처 정보 접근 (1) (iv) 자주 사용하는 서비스 (1) (v) 온라인 행동 추적 (2) (d) 데이터를 왜 접근하는지 (3) (4) 개인정보 정책을 읽지 않는 이유 (Reasons for not reading privacy policies) (a) 개인정보 포기 (Privacy resignation) (i) 사용자는 서비스 제공자가 자신들이 읽기를 원하지 않는다고 생각 (1) (ii) 사용자는 자신의 데이터가 항상 유출될 것이라고 생각 (8) (iii) 사용자는 해당 서비스를 사용해야만 함 (2) (iv) 사용자는 모든 개인정보 정책이 동일하다고 생각 (5) (b) 개인정보 정책이 이해하기 어려움 (Privacy policy is difficult to understand) (i) 디자인 문제/사용자 친화적이지 않음 (2) (ii) 이해하기 어려움 (6) (iii) 사용자가 식별하기 불확실하다고 느낌 (2) (c) 개인정보 정책이 너무 김 (Privacy policy is too long) (i) 개인정보 정책이 너무 김 (10) (ii) 사용자는 읽고 이해하는 데 많은 시간을 쓰고 싶어 하지 않음 (2)

B. Structured Privacy Knowledge

(1) 프라이버시 위험: 데이터 유출 및 개인 데이터 판매 * 원인: 클라우드 기반으로 운영되는 LLM 기반 CA(Conversational Agent) * 영향: 사용자가 채팅 기록에 대한 통제권을 상실 * 증거: 가장 인기 있는 LLM 기반 CA들이 클라우드에서 운영됨

(2) 프라이버시 위험: 기억(memorization) 위험 * 원인: LLM이 학습 데이터의 세부 정보를 기억 * 영향: prompt에 대한 응답으로 민감한 정보가 유출될 수 있음 * 증거: LLM이 사용자 데이터를 주기적으로 모델 학습에 사용

(3) 프라이버시 위험: 개인 식별 정보(PII) 공개 * 원인: 사용자가 대화에서 자신 및 타인의 데이터를 공개 * 영향: 상호 의존적인 프라이버시 문제 발생 * 증거: 사용자가 채팅 기록에서 다양한 유형의 PII를 공개

(4) 프라이버시 위험: 옵트아웃(opt-out) 인터페이스의 다크 패턴 * 원인: 사용자가 프라이버시 제어권을 행사하는 것을 방해 * 영향: 사용자가 혜택을 위해 프라이버시를 희생해야 한다고 느끼게 함 * 증거: 프라이버시와 유틸리티 손실을 연결하는 옵트아웃 인터페이스

(5) 프라이버시 위험: 텍스트에서 개인 속성 추출 * 원인: LLM이 사회적 프라이버시 규범에 대한 상식 부족 * 영향: 악의적인 행위자가 겉으로는 무해해 보이는 텍스트에서 개인 속성을 추론할 수 있음 * 증거: 특정 교통 기동을 언급하는 텍스트를 기반으로 위치 추론

(6) 프라이버시 위험: 프라이버시 규범에 대한 이해 부족 * 원인: LLM이 사회적 프라이버시 규범에 대한 상식 부족 * 영향: 비밀 유지 및 프라이버시 보호의 어려움 * 증거: 모델이 제3자 공격자에 의해 쉽게 속아 프라이버시 보호 지침을 무시할 수 있음

(7) 프라이버시 위험: 사용자가 LLM 기반 CA와 민감한 정보 공유 * 원인: LLM 기반 CA의 높은 유틸리티와 인간과 유사한 상호작용 * 영향: 사용자가 민감한 개인 식별 정보를 공유 * 증거: 사용자가 결함 있는 mental model과 프라이버시 관리 기능의 다크 패턴으로 인해 프라이버시 보호에 지속적으로 어려움을 겪음

(8) 프라이버시 위험: 노출 위험 * 원인: AI 기술이 딥페이크 포르노그래피와 같은 인간과 유사한 미디어를 동의 없이 생성할 수 있음 * 영향: AI 기술이 민감하거나 사적인 정보의 무단 유포로 이어질 수 있음 * 증거: Twitch 스트리머 QTCinderella가 AI 생성 딥페이크 포르노그래피 링크 확산을 중단해달라고 호소

(9) 프라이버시 위험: 골상학/관상학 위험 * 원인: AI가 임의의 분류 함수를 학습하고 신체적 특징으로부터 성적 지향과 같은 민감한 속성을 잠재적으로 추론할 수 있음 * 영향: AI 기술이 신체적 외모를 기반으로 유해한 고정관념과 차별을 영속화할 수 있음 * 증거: AI가 신체적 속성으로부터 성적 지향과 같은 것을 자동으로 감지할 수 있다는 믿음

(10) 프라이버시 위험: 감시 위험 * 원인: 안면 인식 분류기는 대량의 얼굴 데이터를 필요로 하여 비판적이지 않은 데이터 수집 관행으로 이어짐 * 영향: AI 기술이 개인의 동의 없이 광범위한 감시 및 추적을 가능하게 할 수 있음 * 증거: 안면 인식 목적으로 공항에서 얼굴 스캔을 수집

C. Codebooks ${ }^{\mathbf{1}}$

Case Study 1

(1) 사용자 피드백 (a) 문자 메시지 또는 대화와 같은 특정 서비스에 대한 접근 권한을 식별 (1) (b) 사용자가 더 자세한 내용을 확인할 수 있는 옵션 제공 (1) (c) 사용자에게 잠재적인 해결책 제시 (2) (d) 더 많은 유형의 민감 정보 식별 (이미지/PDF/금융/건강) (4) (e) 정책 스니펫(policy snippets)의 개수가 다른 이유 (1) (f) 민감 정보의 범위를 정의하는 방법 (3) (2) 도구 사용 후 사용자에게 발생한 변화 (a) 이점과 위험을 비교하여, 위험이 크지 않다면 수용 (5) (b) 행동 변화에 대한 의도 (2) (c) 더 많은 개인 정보 보호 문제 제기 (2) (d) 데이터 접근의 새로운 이유 인지 (2) (e) 새로운 개인 정보 보호 위험 인지 (4) (f) 개인 정보 보호 위험 명확화 (3) (g) 새로운 데이터 접근자 인지 (11) (3) 도구를 본 후 prompt에 대한 반응 (a) 민감 정보를 가짜/더미 정보로 대체 (7) (b) 민감 정보를 placeholder로 대체 (1) (c) 민감 정보 제거 (5)

Case Study 2

(1) 참가자의 감정 (a) 확장 기능에 대해 희망적이고 기대감을 느낀다 (1) (b) 개인 정보 위험에 대해 충격과 놀라움을 받는다 (c) AI와 정보를 과도하게 공유한 것에 대해 후회한다 (1) (2) 행동 변화 (a) 민감한 정보가 포함된 경우 LLM 사용을 거부한다 (1) (b) 개인 정보 포기로 인해 변화가 없다 (2) (c) 특정 민감한 정보를 비공개로 유지하고 싶어 한다 (4) (d) prompt에서 개인 데이터를 적극적으로 제거한다 (8) (e) 개인 정보 보호에 더 신중하고 의도적으로 행동한다 (14) (3) 참가자의 제안 (a) 개인 정보 유출의 결과(consequences)를 보여준다 (2) (b) 정보가 더 간결해질 수 있다 (4) (c) 첨부 파일에서 민감한 정보를 식별한다 (1) (d) 민감한 정보 공유에 대해 고객의 동의를 구한다 (1) (e) 이메일을 보내기 전에 아는 것이 유용하다 (1) (f) 확장 기능은 사용자가 개인 정보를 공유하지 않도록 허용해야 한다 (1) (g) 웹사이트는 개인 데이터에 접근하기 전에 사용자 동의를 받아야 한다 (1) (h) 참가자들은 데이터가 어떻게 유출될 수 있는지 더 알고 싶어 한다 (3) (i) 개인 정보를 공유하기 전에 2FA 또는 passkey를 추가한다 (1) (4) 유용성 및 사용성에 대한 의견 (a) 민감한 정보를 강조하는 데 유용하며, 특히 긴 이메일에 그렇다 (1) (b) 개인 정보 가설을 검증하는 데 도움이 된다 (1) (c) 데이터 유출에 대해 상사에게 알릴 계획이다 (1) (d) 상세한 정보에 매우 감명받고 감사한다 (1) (e) 확장 기능은 사용하기 쉽고 기능이 긍정적이다 (15) (f) 확장 기능은 사용자의 정확한 데이터를 보호하므로 신뢰할 수 있다 (2) (g) 확장 기능은 설명적이고 이해하기 쉽다 (8) (5) 참가자의 개인 정보 인식 향상 (a) 개인 정보 위험에 대한 사용자 인식을 향상시킨다 (2) (b) 명시적인 동의 없이 민감한 정보가 수집될 수 있다 (2) (c) 결함 있는 mental model과 dark pattern을 이해한다 (1) (d) 민감한 정보는 통제된 접근을 위해 사용될 수 있다 (2) (e) LLM은 사회적 개인 정보 보호 규범에 대한 적합성이 부족할 수 있다 (2) (f) 누군가 prompt를 통해 LLM이 개인 정보를 공개하도록 할 수 있다 (3) (g) Memorization risk (10) (h) Google이 전화번호 또는 기타 정보에 접근하려는 이유 (2) (i) Human reviewer가 민감한 데이터에 접근할 수 있다 (7)