Jo, Eunkyung, et al. "Understanding Public Agencies' Expectations and Realities of AI-Driven Chatbots for Public Health Monitoring." Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. 2025.

Understanding Public Agencies' Expectations and Realities of AI-Driven Chatbots for Public Health Monitoring

Abstract

인공지능(AI)의 발전은 챗봇이 일선 작업자가 전통적으로 수행하던 업무를 자동화함으로써 공중 보건 모니터링을 지원할 잠재력을 제공한다. AI 도입은 의사결정, 행정, 모니터링 역할 전반에 걸쳐 공공기관 직원들에게 영향을 미치지만, 이러한 기술에 대한 직원들의 인식과 노동에 미치는 실제 영향은 충분히 탐구되지 않았다.

우리는 사회적으로 고립된 개인을 모니터링하는 데 사용되는 대규모 언어 모델(LLM) 기반 챗봇인 CareCall의 사례를 조사했다. 이를 위해 CareCall의 도입 및 배포에 참여한 13개 기관의 공공기관 직원 21명을 인터뷰했다.

조사 결과, CareCall은 공중 보건 서비스의 도달 범위를 확장하는 데 도움이 되었지만, 불충분한 자원과 사용자 참여 부족 처리와 같은 새로운 노동 수요로 인해 일선 작업자의 부담을 증가시킨 것으로 나타났다.

우리는 공중 보건 환경에서 LLM 기반 챗봇을 구현하는 것이 의사결정자의 articulation work를 어떻게 복잡하게 만들고 일선 작업자에게 추가적인 유지보수 업무를 부과할 수 있는지 논의한다. 우리는 이 분야의 AI 챗봇이 공공 인프라를 활용하고 fallback 메커니즘을 통합할 것을 권장한다.

CCS Concepts

• Human-centered computing $\rightarrow$ Empirical studies in HCI; Natural language interfaces; Computing methodologies $\rightarrow$ Natural language generation.

Keywords

챗봇, 대규모 언어 모델, 공공 부문 AI, 공중 보건 모니터링, 사회적 고립

ACM Reference Format:

Eunkyung Jo, Young-Ho Kim, Sang-Houn Ok, and Daniel A. Epstein. 2025. Understanding Public Agencies' Expectations and Realities of AI-Driven Chatbots for Public Health Monitoring. In CHI Conference on Human Factors in Computing Systems (CHI '25), April 26-May 01, 2025, Yokohama, Japan. ACM, New York, NY, USA, 17 pages. https://doi.org/10.1145/3706598.3713593

1 Introduction

최근 몇 년간 AI의 급격한 발전은 아동 복지 [6, 9, 34-37, 65, 69], 노숙자 서비스 [44], 실업 서비스 [18, 55], 지역사회 건강 개입 [28, 39, 52, 81] 등 대규모 인구 관리 및 의사 결정에 어려움을 겪는 다양한 공공 서비스 부문에 침투해왔다. AI 시스템은 사회복지사들이 다량의 사회 서비스 요청 및 의뢰를 처리하면서 더 공정한 결정을 내릴 수 있도록 돕거나 [6, 9, 18, 36, 37, 44, 55, 65, 69], 지역사회 보건 인력이 대규모 건강 개입을 위한 자원 배분을 최적화하도록 돕기 위해 제안되곤 한다 [28, 39, 52, 81].
특히 주목할 만한 분야는 **공중 보건 모니터링(public health monitoring)**이다. 이는 공공 기관이 인구의 건강과 복지를 보호하고 증진하기 위해 데이터를 지속적이고 체계적으로 수집, 분석, 해석하는 노력을 포함한다 [74]. 공중 보건 모니터링은 감염병 확산 억제 [8, 19, 49, 50, 68], 대중의 건강 루틴 인식 증진 [23, 67], 소외된 지역사회의 건강 결과 개선 [12, 26, 53, 58, 60, 78] 등 다양한 목표를 달성하는 것을 목표로 한다.
현재의 공중 보건 모니터링 관행은 인구로부터 반복적인 데이터 수집을 위해 현장 인력(frontline workers)에 크게 의존하고 있다. 공중 보건 기관은 필요한 인력이나 자원이 부족한 경우가 많기 때문에 [12, 26, 29, 59, 60, 78], 이러한 유형의 모니터링은 현장 인력과 다른 이해관계자들에게 큰 부담이 된다. 이러한 부담을 완화하고 서비스 범위를 확장하기 위해, 공공 기관들은 LLM 기반 챗봇과 같은 AI 기술을 활용하여 현장 인력이 전통적으로 수행하던 모니터링 task 중 일부를 지원하거나 자동화하는 방안을 점차 고려하고 있다 [27, 28, 30, 31].

공공 서비스의 규모를 고려할 때, 공공 부문 AI 시스템의 도입 및 확산은 다양한 역할의 이해관계자들 간의 협업을 필요로 한다. 예를 들어, 이해관계자들은 공공 서비스 목표를 달성하기 위해 어떤 기술을 채택할지 결정해야 한다. 이러한 결정은 종종 기술의 역량과 조직이 직면한 과제를 해결할 수 있는 능력에 대한 인식에 의해 좌우된다. 또한, 대중을 관리하기 위한 AI 시스템에 맞춰 현장 업무가 변화하고, 복잡한 공공 서비스 인프라에 시스템을 통합하기 위한 행정 업무가 발생함에 따라 일상적인 노동에도 영향을 미친다. 따라서 AI 기반 개입이 도입될 때, 이는 최종 사용자 상호작용을 변화시킬 뿐만 아니라 공공 부문의 전반적인 운영을 재편하고 더 넓은 이해관계자들에게 영향을 미친다.
기존 연구들은 공공 서비스에서 AI 시스템을 둘러싼 이해관계자들의 요구 사항을 탐구했지만, 주로 일상 업무에서 AI 시스템을 직접 사용하는 현장 인력에 초점을 맞추어 [9, 27, 69, 78], 이러한 AI 기술의 전체적인 영향에 대한 이해를 제한했다. 공공 기관의 더 넓은 이해관계자들이 이러한 기술의 잠재력을 어떻게 인식하고 실제 영향을 어떻게 경험하는지 이해하는 것은 미래 공중 보건 모니터링을 위한 AI 설계자들이 다중 이해관계자의 요구 사항을 해결하고 기회와 한계를 더 잘 전달하는 데 도움이 될 수 있다.

공공 부문 AI가 기존의 인적 인프라 내에서 어떻게 작동하고 전반적인 기관 역할을 형성하는지에 대한 보다 총체적인 이해를 얻기 위해, 우리는 사회적으로 고립된 개인의 건강을 확인 전화로 모니터링하기 위해 개발된 LLM 기반 챗봇인 CareCall 사례를 조사한다. 2021년 11월 출시 이후, CareCall은 2024년 12월 현재 대한민국 140개 이상의 지자체에서 30,000명 이상의 개인에게 서비스를 제공하며 점진적으로 확장되었다. CareCall은 다양한 특성(예: 도시, 농촌)을 가진 지자체에 걸쳐 실제 공중 보건 맥락에서 배포된 LLM 기반 챗봇의 드문 사례이며, 다양한 역할(예: 현장 모니터링, 의사 결정, 행정)의 인력을 포함한다. 따라서 CareCall은 공중 보건 모니터링을 위한 AI 챗봇 배포에 대한 다중 이해관계자의 관점과 경험을 이해하는 데 유용한 사례를 제공한다. CareCall 사례를 통해 우리는 다음과 같은 질문을 던진다: 다양한 역할의 공공 기관 인력은 AI 챗봇이 공중 보건 모니터링을 어떻게 지원할 것으로 기대하며, 현실에서 이 기술을 어떻게 경험하는가? 이 질문에 답하는 것은 인간 중심 접근 방식이나 다른 모니터링 기술과 같은 공중 보건 모니터링을 위한 다른 접근 방식과 비교하여 AI 챗봇의 장단점을 이해하는 데 특히 중요하다.

이 질문에 답하기 위해 우리는 13개 지역에 걸쳐 4,000명 이상의 개인을 모니터링하는 CareCall의 도입 및 확산에 참여한 21명의 공공 기관 인력을 인터뷰했다. 이들은 어떤 기술을 채택할지 결정하는 것부터, AI 시스템이 수집한 데이터를 모니터링하여 우려되는 사례를 후속 조치하는 것, 그리고 시스템 운영을 위한 행정 업무를 수행하는 것까지 다양한 역할을 수행했다. 인터뷰를 통해 우리는 공공 기관 인력들이 현장 인력 부족으로 인해 전화 통화나 가정 방문(즉, 인간 중심 접근 방식)을 통해 돌봄이 필요한 인구를 정기적으로 모니터링하는 데 어려움을 겪었음을 발견했다. 비록 기관들이 이러한 제약을 해결하기 위해 수동 감지 시스템(passive sensing systems) 및 자동 음성 기반 시스템(automated voice-based systems)과 같은 기술(즉, 하드웨어 의존적 기술)을 도입하려고 시도했지만, 이는 오경보 관리 및 장치 유지 보수와 같은 새로운 노동 수요를 창출했으며, 높은 비용으로 인해 공공 서비스의 도달 범위가 여전히 제한되었다. CareCall이 도입되었을 때, 의사 결정자들은 AI가 더 많은 사람들에게 도달하고 바람직한 모니터링 빈도를 달성할 것이라는 기대를 가졌고, 이는 대체로 실현되었다. 현장 인력 또한 CareCall이 예상치 못하게 돌봄 수혜자들이 다양한 돌봄 요구 사항을 전달할 수 있는 창구를 제공했다는 점을 높이 평가했다. 그러나 현장 및 행정 인력은 CareCall 도입이 확장된 돌봄을 관리하는 데 필요한 인적 자원 확대를 거의 수반하지 않았고, 사용자 참여의 공백을 처리하는 것과 같은 새로운 유형의 노동을 요구했기 때문에 업무 부담이 가중되었다고 느끼는 경우가 많았다.

우리는 AI 챗봇 도입이 요구하는 인간 노동의 변화를 강조하며, 우리의 연구 결과를 성찰하고 논의하기 위해 조정 작업(articulation work) [71] 프레임워크를 사용한다. 의사 결정자들은 필요한 조정 작업을 수행하는 데 있어 독특한 어려움에 직면하는데, 특히 LLM 기반 챗봇의 개방형 특성과 이러한 신기술에 대한 확립된 지침 및 모범 사례의 부족 때문이다. 우리는 또한 AI 챗봇이 현장 인력에게 부과하는 유지 보수 작업, 특히 사용자 참여의 공백을 처리하는 것의 중요성을 강조한다. 마지막으로, 우리는 공중 보건 모니터링을 위해 AI 챗봇 사용을 고려하는 공공 기관을 위한 시사점을 제공하며, 충족되지 않은 돌봄 요구 사항을 식별하기 위한 개방형 대화의 잠재력과 AI 구현이 인력의 노동 수요에 미치는 영향을 평가할 필요성에 중점을 둔다. 공중 보건 모니터링을 위해 AI 챗봇을 유용하게 만들고자 하는 설계자 및 개발자를 위해, 우리는 확장성을 향상시키기 위해 공공 인프라를 활용하고, 참여 공백을 해결하기 위한 대체 메커니즘을 통합하며, AI 챗봇의 보완책으로 수동 감지(passive sensing)를 활용할 기회를 제안한다.
본 연구의 주요 기여는 다음과 같다:

• 공중 보건 모니터링을 위한 AI 챗봇 배포에 대한 공공 기관의 기대와 현실에 대한 실증적 이해. 우리는 의사 결정, 현장 모니터링, 행정 등 다양한 역할로 CareCall의 도입 및 확산에 참여한 21명의 공공 기관 인력을 인터뷰했다. 의사 결정자들의 AI 챗봇이 공공 서비스의 도달 범위를 확장할 것이라는 기대는 대체로 충족되었지만, 현장 및 행정 인력은 필요한 자원 부족과 사용자 참여 공백 처리와 같은 새로운 노동 수요로 인해 업무 부담이 증가했다고 느끼는 경우가 많았다. 이러한 어려움에도 불구하고, 현장 인력은 CareCall을 충족되지 않은 돌봄 요구 사항을 식별하는 도구로 보았다.
• 공중 보건 모니터링을 위한 AI 챗봇 구현에서 의사 결정자에게 요구되는 조정 작업에 대한 통찰. 특히 LLM 기반 챗봇의 개방형 특성으로 인한 어려움과, 최종 사용자의 시스템 사용 공백을 해결하기 위해 AI 챗봇이 현장 행정 인력에게 부과하는 유지 보수 작업에 중점을 둔다. 우리는 또한 공중 보건 모니터링을 위해 AI 챗봇 사용을 고려하는 공공 기관을 위한 제안을 제공하며, 특히 AI 구현이 노동 수요에 미치는 영향을 평가하는 것과 관련하여, 그리고 확장성을 향상시키기 위해 공공 인프라를 활용하고 사용자 참여 공백을 해결하기 위한 대체 메커니즘을 통합하는 것과 관련하여 AI 챗봇을 공중 보건 모니터링에 유용하게 만들고자 하는 설계자 및 개발자를 위한 시사점을 제공한다.

2 Related Work

공중 보건 모니터링을 위한 공공 기관의 AI 챗봇에 대한 기대와 현실을 이해하는 것은, 의료 분야의 인간 인프라, 공공 부문의 AI, 그리고 대규모 건강 모니터링을 위한 기술에 대한 과거 HCI 연구를 기반으로 한다.

2.1 Human Infrastructures in Healthcare

방대하고 성장하는 HCI 및 CSCW 연구는 인간 인프라(human infrastructures), 즉 협업 작업에 필요한 인적 노동의 조직이라는 관점에서 복잡한 의료 환경에서 기술을 작동시키는 사람들에게 초점을 맞춰왔다 [46]. 인프라는 전통적으로 인간 활동의 물리적, 기술적 기반(예: 전력망, 통신 네트워크)으로 이해되지만, 인간 인프라는 다양한 전문가 간의 협업이 필수적인 현대 의료 서비스를 이해하는 데 있어 또 다른 중요한 측면이다 [70].

복잡한 사회기술적 인프라에 새로운 기술을 도입하는 것은 필연적으로 계획 조정, 자원 재할당, 노력 조율을 통해 예상치 못한 실제 시나리오에 적응하기 위한 지속적인 인간의 노력을 요구한다 [4, 22, 66, 71]. 이러한 유형의 작업은 조정 작업(articulation work), 즉 "협력 작업의 분산된 특성을 관리하는 데 필요한 일련의 활동"으로 특징지어진다 [71]. 의료 환경에서 연구들은 **유지보수 작업(maintenance work)**을 조정 작업의 한 형태로 조사해왔다 [66]. 이는 일선 의료 종사자들이 인프라 배열을 예측, 수리, 재구성하여 지역사회 건강 인프라를 유지하기 위해 수행하는 작업이다 [64, 72, 78]. 예를 들어, Verdezoto et al.은 지역사회 보건 종사자들이 인구 조사 데이터를 관리하기 위해 **사회적, 물질적 배열의 부족(예: 데이터 입력 인력의 제한된 가용성, 인터넷 연결 컴퓨터 부족)**을 수리하기 위해 수행한 유지보수 작업을 강조했다. 선행 연구를 확장하여, 본 연구에서는 다양한 이해관계자들이 공중 보건 모니터링을 위한 AI 챗봇을 채택하고 운영하기 위해 수행하는 조정 작업 및 유지보수 작업의 유형을 조사한다.

2.2 AI in the Public Sector

AI 기술은 공공 서비스, 특히 보건 및 복지 분야에서 자원 제약을 극복하기 위한 수단으로 점점 더 많이 제안되고 있다. 지역사회 보건 개입에서는 AI 도구가 가장 큰 혜택을 받을 개인을 식별하여 자원 할당을 최적화하는 데 활용될 수 있음이 탐구되었다 [28, 39, 52, 81]. 사회 복지 분야에서는 **아동 학대 선별 [6, 9, 34-37, 65, 69], 노숙인을 위한 주택 할당 [44], 실업자를 위한 직업 배치 [18, 55]**와 같은 맥락에서 대량의 사회 서비스 요청 및 의뢰를 관리하면서 AI가 더 공정한 결정을 내리는 데 어떻게 도움을 줄 수 있는지 연구자들이 검토해왔다.

공공 서비스를 위한 AI 도구에 대한 이전 연구는 자원 할당 및 의사결정 지원에 초점을 맞추었지만, AI는 일선 직원들이 전통적으로 수행해온 다른 필수적인 공공 서비스 업무, 예를 들어 공중 보건 모니터링을 위해 인구로부터 정기적으로 데이터를 수집하는 일에도 도움을 줄 수 있다. 예를 들어, 이전 연구에서는 AI 챗봇이 개인 건강 데이터 수집을 자동화하여 일선 모니터링 부담을 경감시키는 데 어떻게 사용될 수 있는지 보여주었다 [30, 31, 41].

이전 연구들은 공공 서비스에서 AI 시스템과 직접 상호작용하는 사람들의 관점을 더 잘 이해하는 것을 목표로 했지만, AI 도입에 관여하는 공공 기관의 의사결정자나 AI 도입으로 인해 업무에 영향을 받은 다른 간접 사용자와 같이 이러한 도구에 대해 상당히 다른 요구를 가질 수 있는 다른 중요한 이해관계자 그룹을 간과하는 경우가 많았다 [9, 27, 69, 78]. 최근 몇몇 연구들은 AI 매개 의사결정에 다양한 역할(예: 감독관, 기관 리더)로 참여하는 직원들의 관점을 검토하기 시작했다 [34-37]. 예를 들어, Kawakami et al.은 일선 직원들이 아동 학대 선별에 대해 AI 도구와 다른 목표 결과를 가지고 있었지만, 알고리즘적 결정에 반대하기 어려운 조직적 압력에 직면했음을 발견했다 [36]. 이는 공공 부문에서 AI 도구의 채택 및 배포를 형성하는 데 더 높은 권한과 책임을 가진 사람들의 관점을 이해할 필요성을 시사한다. 이러한 요구에 부응하여, 최근 연구는 공공 기관의 의사결정자들과 협력하여 새로운 AI 도구 채택에 대한 그들의 견해를 이해하고, 이러한 도구의 유효성과 가치에 대한 의사결정자와 일선 직원 간의 상이한 관점을 강조했다 [34]. 우리는 다양한 역할로 AI 챗봇의 채택 및 배포에 관여하는 공공 기관 직원들의 관점과 공중 보건 모니터링 맥락에서 그들의 요구가 어떻게 일치하고 다른지를 조사함으로써 이전 연구를 확장한다.

2.3 Technology for Large-Scale Health Monitoring

대규모 인구의 건강과 웰빙을 모니터링하는 것은 공중 보건 기관이 반복적인 데이터 수집을 수행하는 데 상당한 시간과 노력을 요구한다 [12, 26, 29, 59, 60, 78]. HCI 및 CSCW 커뮤니티의 이전 연구는 주로 챗봇 및 모바일 앱과 같은 기술을 연구하거나 제안하여 접촉 추적 [8, 41, 49, 50], 모자 보건 교육 [12, 26, 29, 33, 59, 60, 63, 78], 사회적 고립 개입 [30, 31]과 같은 맥락에서 대규모 건강 모니터링을 지원했으며, 주로 인구로부터 건강 관련 데이터를 수동으로 수집하는 현장 작업자(frontline workers)를 지원하는 데 중점을 두었다. 한편, Ubiquitous Computing 커뮤니티의 연구는 센서 기술을 통해 대규모 건강 모니터링에 대한 보다 기술적인 접근 방식을 제안했다. 연구들은 센서 기반의 가정 내 모니터링을 공기 질 [17, 25, 56, 82], 물 사용량 [20, 21, 75], 전력 소비량 [16, 42, 61]과 같은 다양한 건강 지표를 모니터링하는 메커니즘으로 자주 제안했으며, 특히 이러한 기술의 확장성을 향상시키는 데 공공 인프라를 활용하는 이점을 강조했다 [21, 42, 75].

기술은 종종 모니터링 부담을 덜어주려는 의도로 개발되지만, 때로는 의도하지 않은 결과를 초래하기도 한다. 연구에 따르면 지역사회 건강 작업을 지원하기 위해 설계된 기술은 추가적인 책임을 부여함으로써 현장 작업자의 부담을 증가시키는 경우가 많다 [29, 38, 59, 72, 78]. 이러한 시스템을 운영하는 것은 종종 현장 작업자가 직무 설명을 넘어선 상당한 노력을 기울여야 하지만, 이러한 노력은 다른 이해관계자들에게 인정받지 못하는 경향이 있다 [53, 54, 62, 72, 78]. 연구는 현장 작업자의 이러한 간과된 기여를 "보이지 않는 노동(invisible work)" [10]으로 특징지었다. 이는 그들의 업무에 필수적이지만 다른 이해관계자들에게는 눈에 띄지 않거나, 인정받지 못하거나, 저평가되는 노동을 의미한다 [38, 53, 54, 59, 72, 78]. 예를 들어, Sun et al.은 장기 요양 시설의 데이터 기반 기술에 대한 연구에서 현장 작업자가 데이터 인프라의 고장(예: 센서 기술을 통해 수집된 부정확하거나 불완전한 데이터 수정)을 해결하기 위해 상당한 데이터 작업을 수행했지만, 이러한 작업은 혁신이라는 명목 하에 다른 이해관계자들에게 크게 간과되었다는 것을 밝혀냈다 [72]. 이전 연구 결과는 공공 부문에 기술을 도입할 때 이해관계자들이 수행하는 노동의 전체 범위에 대한 심층적인 이해의 필요성을 시사한다. 우리의 연구는 공공 기관 작업자들이 CareCall과 같은 신흥 AI 기술에 대해 어떤 기대를 가지고 있으며, 이러한 기술이 실제 환경에서 그들의 노동에 실제로 어떤 영향을 미치는지를 구체적으로 분석함으로써 이 문헌에 기여한다.

3 Study Context: CLOVA CareCall

우리는 공중 보건 모니터링을 지원하기 위해 배포된 AI 챗봇의 예시로 CareCall을 제시한다. 이 섹션은 기반 기술에 대한 AI 및 NLP 문헌 [2, 40], CareCall의 설계자 및 개발자가 작성한 디자인 문서, 그리고 공공 기관 직원들과의 인터뷰를 바탕으로 작성되었다.

3.1 Motivation and Design of CareCall

CareCall은 사회적으로 고립된 개인들을 위해 정기적인 전화 통화를 통해 지원하도록 설계된 LLM 기반의 음성 챗봇이다 [7]. 이 시스템의 개발 동기는 최근 한국에서 제정된 고독사 예방 및 관리에 관한 법률 [43]에서 비롯되었다. 이 법은 고독사 위험에 처한 개인들을 식별하고 지원하는 것의 중요성을 강조한다. 고독사는 홀로 거주하며 가족이나 친척과 단절된 사람이 자살이나 질병으로 인해 집에서 홀로 사망하고, 그 시신이 뒤늦게 발견되는 경우를 의미한다. 한국에서는 지난 몇 년간 고독사 발생 건수가 2017년 2,412건에서 2022년 3,378건으로 급증함에 따라, 이러한 죽음을 예방해야 한다는 사회적 공감대가 형성되었다 [80].

HyperCLOVA [40]라는 LLM을 기반으로 하는 open-ended 대화 시스템으로 설계된 CareCall은 사회복지사가 돌봄 대상자에게 안부를 묻는 듯한 편안한 대화 스타일을 모방한다. 장기 기억(long-term memory) [1] 기능을 갖춘 CareCall은 사용자가 언급한 정보를 기억하고, 향후 세션에서 응답을 생성할 때 해당 지식을 활용할 수 있다. 예를 들어, 사용자가 다리 통증으로 정기적으로 의사를 만난다고 언급하면, CareCall은 이 정보를 요약하여 다음 세션의 모델 입력에 포함시킨다. 이를 통해 시스템은 "다리는 좀 어떠세요?"와 같은 후속 질문을 할 수 있다. 선행 연구에서는 CareCall의 디자인에 대한 인식을 조사했으며, open-ended 대화가 최종 사용자의 외로움을 완화하고 공중 보건 종사자들에게 개인에 대한 전체적인 이해를 제공하는 데 도움이 되었음을 보여주었다 [30]. 또한, 장기 기억 기능은 친숙함을 제공함으로써 건강 정보 공개를 특히 향상시키고 챗봇에 대한 긍정적인 인식을 조성했다 [31]. 시스템 아키텍처에 대한 더 자세한 기술적 내용은 선행 연구 [1, 30, 31, 40]에서 확인할 수 있다.

3.2 Deployment of CareCall

2021년 11월 한국 부산에서 처음 출시된 CareCall은 2024년 12월 기준으로 한국 내 140개 이상의 공공기관을 통해 30,000명 이상의 개인을 모니터링하는 수준으로 점진적으로 확장되었다. CareCall은 지방자치단체, 지역 보건소, 보훈처 등 사회적으로 고립된 개인을 돌보는 다양한 유형의 공공기관에서 채택 및 배포되었다. CareCall 배포 규모는 관련 공공기관의 범위에 따라 10명 미만에서 수천 명에 이르기까지 크게 다양했다.

각 공공기관은 CareCall의 대상 사용자에 대해 연령대나 특정 건강 상태 측면에서 약간씩 다른 기준을 가지고 있었지만, 사회적으로 고립된 사람들을 모니터링한다는 포괄적인 특징은 모두 공유했다. 대부분의 공공기관은 중년층(40대~60대) 및 독거노인(60대 이상) 중 사회경제적 지위가 낮은(예: 중위 가구 소득의 50% 미만) 사람들에게 CareCall을 배포했다. 그러나 일부 공공 보건 기관에서는 경도 인지 장애 또는 우울증을 앓는 노인들에게 CareCall을 특별히 배포하기도 했다. 대부분의 경우, 지역사회에서 사회 서비스를 제공하는 공무원들이 이들에게 CareCall 사용을 권유했다.

CareCall의 채택 및 배포는 공공기관이 다양한 task를 수행하도록 요구했다. 담당자들은 의사결정(decision-making), 행정(administration), 최전선 모니터링(frontline monitoring)의 세 가지 역할 중 하나 이상을 가질 수 있었다. 유사한 역할은 공공 서비스 기술에 대한 다른 연구들에서도 설명된 바 있다 (예: 의사결정 [34, 36, 65], 행정 [36, 65], 최전선 업무 [9, 27, 30, 32, 37, 78]). 시스템을 채택하고 배포하기 전에 공공기관은 이 기술이 공공 서비스 목표 달성에 적합한지 평가하고, 예산을 계획하며, 시스템 운영 관리를 위해 하위 기관에 task를 할당하고, 모니터링 프로토콜을 개발하는 등 다양한 의사결정을 내려야 했다. CareCall이 배포되기 시작한 후, 최전선 담당자(frontline workers)들은 통화 기록을 정기적으로 모니터링하여 부정적인 건강 신호(예: 식사 거르기, 수면 부족, 건강 문제)가 감지되었는지 또는 해당 개인이 연속해서 여러 통화에 응답하지 않았는지 확인했다. 통화 기록에서 건강 문제나 연속적인 부재중 전화가 감지되면, 최전선 담당자들은 해당 개인에게 연락하여 모든 것이 괜찮은지 확인하도록 통보받았다. 이러한 수동 통화에 응답이 없으면, 개인의 집을 방문하거나 해당 문제를 지역 공무원에게 에스컬레이션했다. 마찬가지로, 수동 통화 중에 사회 서비스 또는 의료 서비스 필요성이 확인되면, 해당 개인을 서비스에 직접 연결하거나 지역 공무원에게 문제를 에스컬레이션하기 위한 보고서를 작성했다. 공공기관은 또한 최전선 담당자로부터 수동 확인이 필요한 돌봄 대상자 목록을 취합하고 이 목록을 지역 공무원에게 전달하는 등 다양한 수준의 기관 간 조정을 위한 행정 task를 수행했다.

CareCall 배포 규모가 다양했기 때문에, 각 기관은 역할을 다르게 분배했다. 예를 들어, 일부 상위 지방자치단체(예: 도 또는 시 정부)는 상대적으로 더 큰 규모로 CareCall을 배포하고 행정 및 모니터링 역할을 하위 기관(예: 지역 주민센터 또는 지역 사회 서비스 기관)에 할당하여, 각 현장에 시스템을 배포하는 데 몇 명에서 약 20명의 담당자를 참여시켰다. 이와 대조적으로, 더 작은 규모로 CareCall을 배포했거나 자원이 부족한 기관에서는 한두 명의 인력이 채택 및 배포의 전체 과정에 필요한 여러 역할을 수행했다.

4 Methods

공중 보건 모니터링을 위한 AI 챗봇 배포에 대한 공공 기관의 기대와 현실을 이해하기 위해, 우리는 CareCall의 도입 및 배포에 관여한 21명의 공공 기관 직원들을 인터뷰했다. 이들은 의사 결정, 행정, 모니터링 등 다양한 역할을 수행하고 있었다. 우리의 인터뷰 연구는 참가자들에게 최소한의 위험만을 수반하는 방법론이었으므로, 우리 대학의 Institutional Review Board에 의해 면제 대상으로 분류되었다.

4.1 Interview Process

2023년 가을, 우리는 21명의 참여자 중 17명과 개별적으로 **반구조화된 인터뷰(semi-structured interviews)**를 진행했으며, 나머지 4명은 동일 기관의 동료와 짝을 이루어 참여했다 (총 19회 세션). 인터뷰 세션은 참여자의 선호에 따라 **화상 회의(8회), 전화(4회), 또는 대면(7회)**으로 진행되었으며, 각 세션은 40-60분 동안 지속되었다. 인터뷰 동안 우리는 다음 질문들을 물었다: (1) 인간 및 기술적 접근 방식을 사용하여 인구 집단의 건강과 웰빙을 모니터링한 이전 경험, (2) CareCall 도입 동기 및 영향 요인, (3) CareCall을 워크플로우 및 공중 보건 인프라에 통합한 영향. 우리는 모든 참여자에게 시간 보상으로 60,000원(인터뷰 당시 약 45 USD)을 제안했다. 그러나 8명의 참여자는 공무원으로서 외부 수입 보고의 복잡한 과정을 피하기 위해 연구 보상을 받지 않기로 선택했으며, 나머지 13명은 보상을 받았다.

Table 1: 참여자들이 CareCall 도입 및 배포에 관여했던 사이트에 대한 정보. 배포 규모(CareCall 사용자 수), 지리적 특성, 공공 서비스 맥락, 대상 사용자 포함

4.2 Participants

우리는 CareCall을 배포하는 공공기관에 전단지를 배포하여 14명의 참가자를 모집했고, snowball sampling을 통해 7명을 추가로 모집하여 총 21명의 참가자를 확보했다. 참가자는 25세에서 45세 사이의 12명의 여성과 9명의 남성으로 구성되었다 (Table 2). 참가 자격 기준은 CareCall 도입 및 배포 업무에 최소 3개월 이상 참여한 개인으로 한정했다.

우리가 인터뷰한 직원들은 13개의 다른 기관(SiteA-M) 소속이었으며, 이 기관들은 사회 복지, 공공 보건, 공공 서비스 기술 인큐베이션 등 각기 다른 공공 서비스 맥락에 따라 다양한 목표를 가지고 CareCall을 배포하고 있었다 (Table 1). 예를 들어, 사회 서비스 기관들은 저소득층(low-SES) 독거 중장년층의 전반적인 건강과 웰빙을 모니터링하여 고독사를 예방하는 것을 목표로 CareCall을 배포했다. 반대로, 지역 보건소들은 우울증, 경도 인지 장애, 또는 제한된 의료 접근성(예: 고립된 섬 거주)과 같은 보다 구체적인 건강 문제를 모니터링하기 위해 CareCall을 도입했다. 이들 기관의 CareCall 배포 규모는 최소 5명에서 최대 1,500명으로 매우 다양했다 (Table 1). 또한, 이들 기관의 지리적 특성도 다양하여, 주로 농촌, 교외, 도시 지역을 포함했으며, 일부는 이러한 요소들이 혼합된 지역도 있었다 (Table 1). 이러한 분류는 인구 밀도, 도시 개발, 지역 특성 등의 요소를 기반으로 한다 [48].

대부분의 직원들은 각 기관의 자원과 배포 규모에 따라 CareCall 도입 및 배포 과정에서 여러 역할을 수행하고 있었다. 10명의 직원은 CareCall 도입 및 배포 관련 의사 결정 과정에 참여했고, 20명은 행정 역할을 수행했으며, 14명은 최전선에서 모니터링 업무를 담당했다 (Table 2). 이들 중 일부는 CareCall 배포를 협력적으로 관리하기 위해 기관 간에 협업하기도 했다. 예를 들어, P-SiteA-1은 지방 정부 소속으로, 일부 행정 및 모니터링 업무를 시 정부(P-SiteA-2 및 P-SiteA-3 소속)와 사회 서비스 기관(P-SiteA-4 소속)과 같은 하위 기관에 분배했다. 유사하게, P-SiteB-1은 지방 정부에서 CareCall 도입에 대한 의사 결정을 내렸고, 일부 행정 및 모니터링 업무를 지역사회 돌봄 센터(P-SiteB-3 소속)와 사회 서비스 기관(P-SiteB-2 소속)을 포함한 하위 기관에 할당했다. 우리는 또한

Table 2: 참가자 인구 통계 정보 (연령, 성별, CareCall 배포 역할 포함). ID는 소속 기관을 나타낸다.

P-SiteC-1과 P-SiteC-2, P-SiteD-1과 P-SiteD-2, P-SiteE-1과 P-SiteE-2와 같이 동일 기관 내에서 CareCall 배포를 팀으로 관리하는 개인들도 인터뷰했다.

직원들은 CareCall 도입 및 배포에 다양한 기간 동안 참여했으며, **3-6개월(6명), 6-12개월(8명), 12개월 이상(7명)**으로 분포했다. 일부 참가자들은 CareCall 외에 공공 보건 모니터링을 위한 다른 기술을 도입한 경험이 있었다. 이들 중 6명은 사회적 고립 개입 맥락에서 수동 모니터링 시스템을 활용한 경험이 있었는데, 여기에는 움직임 모니터(P-SiteB-1, P-SiteA-2, P-SiteA-4), 통화 기록 모니터링 시스템(P-SiteI), 전력 사용량을 추적하는 스마트 플러그(P-SiteH, P-SiteG, P-SiteI) 등이 포함된다. 4명의 직원은 유사한 맥락에서 자동 음성 기반 시스템을 배포한 경험이 있었는데, 여기에는 자동 응답기(P-SiteA-2), 규칙 기반 챗봇(P-SiteF), 소셜 로봇(P-SiteD-1, P-SiteD-2) 등이 있었다.

4.3 Data Analysis

우리는 모든 인터뷰 세션을 녹음하고 자동 전사했으며, 나중에 전사본의 자동 음성 인식 오류를 수동으로 수정했다. 모든 데이터는 원래 한국어로 수집되었으며, 한국어 원어민이자 영어에 능통한 제1저자에 의해 분석 과정에서 영어로 번역되었다. 일부 관용구와 표현은 영어로 더 자연스럽게 들리도록 의역했으며, 한국어 원어민이자 영어에 능통한 제2저자와 번역의 유효성을 교차 확인했다.

우리는 인터뷰 전사본을 질적으로 분석하기 위해 **귀납적 주제 분석(inductive thematic analysis)**을 사용했다. 이 방법은 개방 코드를 생성하고 지속적으로 비교하여 근본적인 주제를 밝혀내는 것을 특징으로 한다 [5]. 제1저자는 인터뷰 전사본을 개방 코딩하고, 여러 차례의 동료 검토(peer debriefing) 회의를 통해 전반적인 패턴과 주제를 수정했다. 이 코딩을 통해 우리는 공중 보건 모니터링을 위한 AI 기반 챗봇 배포에 대한 기대와 현실이라는 주요 주제를 도출했으며, 이를 결과 정리의 틀로 사용했다. 최종 코드북에는 AI가 돌봄 확장에 도움이 될 것이라는 기대와 AI가 실제 현장 업무량을 증가시킨다는 내용과 같은 9개의 상위 코드와 21개의 하위 코드가 포함되었다. 인터뷰의 중심 주제는 CareCall 배포를 관리하기 위해 각 이해관계자에게 필요한 다양한 형태의 인간 노동이었다. 이는 우리의 연구 결과를 논의하는 데 articulation work [71] 프레임워크를 사용하도록 이끌었다. 우리의 articulation work 사용은 분석 전에 미리 가정하기보다는 연구 결과에 의해 정보가 제공되는 상향식(bottom-up) 방식이었다.

5 Findings

이 섹션에서는 먼저 공중 보건 모니터링을 위해 인간적인 접근 방식과 하드웨어 의존적인 기술을 사용했던 기관 직원들의 이전 경험을 소개한다. 그런 다음, 이러한 경험들을 AI 기반 챗봇(예: CareCall)을 이 task에 사용하는 것에 대한 기대와 현실과 비교한다. 지자체들은 자원 제약과 변화하는 정책 우선순위를 고려하여 새로운 기술을 순차적으로 도입하는 경향을 보였다.

5.1 Prior Experiences with Human Approaches

Figure 1: 인간 중심 접근 방식 – 공공 기관은 전통적으로 전화 통화나 가정 방문과 같은 수동적인 확인을 통해 사회적으로 고립된 개인들을 모니터링했습니다. 이러한 업무에 할당된 현장 인력이 적었기 때문에, 제한된 수의 사람들만이 정기적인 모니터링을 받을 수 있었습니다.

공공 기관은 사회적 고립 개입을 위해 주로 전화 통화나 가정 방문과 같은 인간 중심 접근 방식에 의존해 왔다. 그러나 돌봄이 필요한 인구에 비해 현장 인력이 부족하여, 이러한 접근 방식은 종종 과도한 부담으로 인식되었다. 관리자인 P-SiteA-2는 현장 인력에게 주어지는 자원 부족을 인정하며 다음과 같이 말했다: "우리 시에서는 사회복지사 한 명이 100명 이상의 사회적으로 고립된 개인들을 담당하는데, 이는 현실적으로 관리하기 어렵습니다." 현장 인력들도 인간 중심 접근 방식에 대해 비슷한 감정을 표현했다. P-SiteF는 "어르신들을 확인하는 것은 상당한 부담입니다. 저는 약 1,000명을 담당하고 있어서, 모든 분들을 확인하는 것은 비현실적입니다"라고 말했다. P-SiteJ도 이에 동의하며 "저는 수백 명의 개인을 담당하고 있어서, 하루에 수십 명에게 전화해야 합니다. 너무 시간이 많이 걸리고 지칩니다"라고 언급했다. 의사 결정권자와 현장 인력 모두 인간 중심 접근 방식의 자원 집약적인 특성이 정기적인 모니터링이 필요한 인구에 대한 모니터링 빈도와 범위가 부적절하다는 결과를 초래한다고 느꼈다 (Figure 1).

5.1.1 불충분한 모니터링 빈도
자원 제약으로 인해 모든 현장 인력은 인간 중심 접근 방식으로는 원하는 만큼 자주 모니터링 업무를 수행할 수 없다는 점을 우려했다. 현장 인력이 사회적으로 고립된 개인들을 수동으로 확인하는 빈도는 연 1회부터 주 1회까지 매우 다양했지만, 그들은 종종 인구의 안전을 보장하기 위해 더 빈번한 모니터링이 필요하다고 느꼈다. 거동이 불편한 노인들을 모니터링하는 현장 사회복지사 P-SiteH는 "자원 제약 때문에 원하는 만큼 자주 확인하지 못했습니다"라고 말했다. 관리자와 현장 인력은 종종 원하는 확인 빈도와 실제 확인 빈도 사이의 격차를 가정 방문에 필요한 자원 때문이라고 설명했다. P-SiteD-2는 농촌 지역에서 모니터링을 위해 가정 방문에 의존하는 어려움을 다음과 같이 설명했다: "대도시에서는 사람들이 보통 직접 정신 건강 센터를 방문하기 때문에 사회복지사들이 정기적으로 확인하기가 훨씬 쉽습니다. 하지만 우리 같은 농촌 마을에서는 어르신들이 센터가 집에서 멀고 대중교통이 좋지 않아 우리를 방문할 수 없기 때문에 우리가 직접 가정을 방문해야 합니다. 하지만 제한된 자원으로는 한 달에 한두 번밖에 방문할 수 없는데, 이는 분명히 충분하지 않습니다."

5.1.2 제한된 공공 서비스 도달 범위
모든 현장 인력은 인간 중심 접근 방식의 자원 집약적인 특성이 정기적인 건강 모니터링이 필요한 인구를 적절하게 포괄하는 능력을 제한한다고 인식했다. 그들은 모니터링의 혜택을 받을 수 있는 개인이 훨씬 더 많지만, 건강 위험이 더 큰 사람들을 선택적으로 우선순위에 두어야 했기 때문에 소수의 사람들만이 정기적으로 모니터링되고 있다고 자주 언급했다. 지역 정신 건강 센터에서 치매 위험이 있는 개인들을 담당하는 사회복지사 P-SiteE-1은 인간 중심 접근 방식으로는 인구를 적절하게 포괄할 수 없다고 느꼈다: "수천 명의 경도 인지 장애 환자들이 우리 명단에 등록되어 있습니다. 우리는 그들 모두를 실제로 확인할 수 없기 때문에 많은 분들이 방치되고 있습니다." P-SiteL은 사회적으로 고립된 노인들을 모니터링하는 데 있어 비슷한 상황을 설명했다: "우리 시에는 25,000명 이상의 독거노인이 살고 있습니다. 그중 저소득층이거나 중증 장애가 있는 분들은 사회복지사들이 정기적으로 방문하여 확인합니다. 하지만 다른 많은 분들은 정기적인 확인을 받지 못하고 있습니다."

5.2 Prior Experiences with Dedicated Hardware

인간적인 접근 방식으로는 원하는 만큼 자주, 그리고 많은 대중을 모니터링할 수 없다는 점을 인식한 정부 기관의 의사 결정자들은 사회적으로 고립된 인구를 모니터링하기 위해 종종 특정 하드웨어를 도입했다. Section 4.2에서 언급했듯이, 여러 실무자들은 사회적 고립 개입에 있어 수동 모니터링 시스템을 활용한 경험이 있었다. 여기에는 움직임 센서, 전력 사용량 및 주변 조명 수준을 추적하는 스마트 플러그, 또는 통화 기록 모니터링 시스템 등이 포함되며, 이들은 잠재적인 의료 응급 상황을 나타내는 비정상적인 패턴을 감지했을 때 일선 작업자에게 알리도록 설계되었다. 또한, 일부 실무자들은 자동화된 음성 기반 시스템을 배포한 경험도 있었다. 예를 들어, 자동 응답기, 규칙 기반 챗봇, 사회적 고립 개입을 위한 소셜 로봇 등이 있다. 일선 작업자들은 이러한 기술들이 유익하다고 생각한 몇 가지 사례를 언급했다. 예를 들어, P-SiteH는 스마트 플러그가 고독사 사례를 발견하는 데 어떻게 도움이 되었는지 설명했다: "거동이 불편한 분이 계셨어요. 하루 종일 TV를 켜놓고 잠자리에 들 때 끄곤 했죠. 그런데 어느 날 갑자기 전력 사용량이 0으로 표시되어서 연락을 시도했고, 그분이 돌아가셨다는 것을 알게 되었어요."

의사 결정자들은 일반적으로 전용 하드웨어가 인간적인 접근 방식으로는 불가능했던 모니터링 규모를 약간 확장하는 데 도움이 된다고 보았다. 그러나 일선 작업자들은 이러한 하드웨어 의존적인 기술들이 새로운 노동 수요를 발생시켜 모니터링 부담을 최소한으로만 경감시킨다고 느꼈다. 더욱이, 하드웨어 장치의 높은 비용은 이러한 접근 방식의 도달 범위를 제한했다 (Figure 2).

Figure 2: 하드웨어 의존적 기술 - 공공 기관의 의사 결정자들은 수동 모니터링 또는 자동화된 체크인을 위한 하드웨어를 도입하여, 건강 문제가 있는 사람들을 일선 작업자가 후속 조치하도록 알렸다 (주황색으로 강조). 그러나 일선 및 행정 작업자들은 이러한 기술들이 오경보 처리(보라색으로 강조) 및 하드웨어 유지보수와 같은 새로운 업무를 발생시키고, 높은 비용으로 인해 인간적인 접근 방식에 비해 대중의 도달 범위가 미미하게 확장되는 등, 모니터링 부담을 최소한으로만 경감시킨다고 보았다.

5.2.1 일선 작업자를 위한 새로운 유형의 노동 도입

센서 기반 시스템은 공중 보건 모니터링을 지원하기 위해 도입되었지만, 관리자 및 일선 작업자들은 이러한 시스템이 잦은 오경보를 유발하고 지속적인 후속 조치를 요구하여 부담을 줄이기보다는 새로운 노동 수요를 추가한다고 생각하는 경우가 많았다. 사회적으로 고립된 사람들을 모니터링하기 위해 스마트 플러그를 사용한 경험을 회상하며, P-SiteG는 센서가 오류가 많아 상당한 부담을 초래한다고 언급했다: "스마트 플러그는 주변 조명 수준과 같은 환경 변화를 측정하기 때문에, 사람이 외출하기 전에 불 끄는 것을 잊거나 하는 경우 너무 많은 오경보를 받았습니다. 그런 알림을 받으면 저녁이나 주말이라도 즉시 그 사람이 괜찮은지 확인해야 했는데, 이는 상당한 부담이었습니다."

또한, 이러한 시스템의 하드웨어 의존성으로 인해 일선 작업자들은 장치 관리를 위한 추가적인 업무를 맡게 되었다. P-SiteG는 스마트 플러그가 요구하는 하드웨어 유지보수 업무에 대해 설명했다: "스마트 플러그를 관리하는 데 많은 어려움이 있었습니다. 장치가 때때로 고장 나거나 참여자가 분실할 수도 있었죠. 또한 참여자가 중도 이탈하면 장치를 회수하여 새로운 참여자의 집에 설치해야 했기 때문에 많은 일이었습니다." 마찬가지로, 우울증을 앓는 노인들을 위한 사회적 고립 개입에 소셜 로봇을 사용하면서, P-SiteD-1은 참여자들을 위한 장치 문제 해결에 있어 행정적인 어려움을 겪었다: "설정 및 문제 해결 측면에서 참여자들을 위해 거의 모든 것을 해야 합니다. 그들은 종종 우리에게 전화해서 '켜지지 않아요'라고 말하고, 그러면 저는 40분 동안 그들의 집까지 운전해서 확인하러 갑니다. 보통은 그냥 WiFi 문제나 일시적인 문제라서 라우터를 재시작하고 돌아오곤 합니다. 로봇을 유지보수하는 데 정말 많은 자원이 소모됩니다."

5.2.2 모니터링 규모 확장 한계

의사 결정자들은 또한 장치의 높은 비용이 모니터링 도달 범위를 원하는 수준으로 확장하는 능력을 제약한다고 인식했다. P-SiteB-1은 움직임 센서를 통한 돌봄 제공의 재정적 장벽을 강조했다: "예산 제한 때문에 움직임 모니터를 배포할 때 상당히 선별적이어야 했습니다. 이 서비스를 원하지만 아직 받지 못한 사람들의 대기자 명단이 여전히 길게 있습니다." 이러한 비용 때문에 P-SiteB-1은 "예산 한도 내에서 훨씬 더 많은 개인에게 도달할 수 있었기 때문에 CareCall을 추가로 도입"하게 되었다. 홀로 사는 노인들을 위해 스마트 스피커를 배포한 경험이 있거나 고려했던 다른 의사 결정자들도 장치의 높은 비용이 개입 규모를 확장하는 능력을 크게 제한한다는 것을 발견했다. P-SiteH는 그들의 지역에서 사회적 고립 개입을 위해 스마트 스피커를 채택하지 않기로 결정한 주된 이유가 장치 비용 때문이라고 설명했다: "인구를 모니터링하는 데 도움이 될 수 있는 스마트 스피커는 많이 있지만, 가격이 상당히 비쌉니다. 이는 돌봄을 확장하는 우리의 능력을 제한합니다. 어떤 기술을 채택할지 결정할 때 예산이 가장 중요한 요소라고 생각합니다."

5.3 Expectations for AI-Driven Chatbots

CareCall을 도입할 때, 의사결정자들은 AI 챗봇이 앞서 언급된 인간 중심 접근 방식과 하드웨어 의존 기술의 한계를 극복하여, 더 많은 사람들을 대상으로 더 자주 모니터링할 수 있게 하면서도 작업자의 부담을 덜어줄 것으로 기대했다 (Figure 3). 그들은 이 기술이 인력을 늘리지 않고도 모니터링 범위와 빈도를 확장하는 데 도움이 될 것이라고 판단하여 도입을 결정했다. 의사결정자들은 인간 중심 접근 방식이나 수동적인 모니터링보다 낮은 비용으로 훨씬 더 많은 대중을 모니터링할 수 있을 것이며, 이는 인간의 전화 통화를 효과적으로 시뮬레이션할 것이라고 예상했다.

Figure 3: AI 기반 챗봇에 대한 기대 – CareCall 도입 시, 공공기관의 의사결정자들은 이 AI 챗봇이 자동화된 안부 확인을 통해 훨씬 더 많은 인구에게 돌봄을 확대할 것으로 기대했다. 그들은 기존 인력이 이러한 돌봄 확대를 관리할 수 있을 것으로 예상했는데, 이는 건강 문제를 나타내는 소수의 사람들에게만 후속 조치(주황색으로 강조된 부분)가 필요할 것이기 때문이었다.

5.3.1 모니터링 빈도 증가를 통한 공공 서비스 도달 범위 확장

우리는 의사결정자들이 CareCall을 자동화된 모니터링을 통해 공공 서비스의 도달 범위를 확장하는 수단으로 보았다는 것을 확인했다. 그들은 기술, 특히 CareCall과 같은 AI 시스템이 공중 보건 모니터링의 자원 제약을 극복하는 데 도움이 될 것이라고 믿었다. P-SiteE2는 지역사회 건강의 자원 제약 속에서 돌봄을 확장하기 위한 기술적 해결책을 모색했다: "우리 지자체에서는 치매 위험 인구가 급증했지만, 우리의 자원은 크게 늘지 않았습니다. 우리는 이러한 사람들에게 더 효율적으로 돌봄을 제공하기 위해 기술이 필요하다고 생각했습니다." CareCall의 도입을 관리한 P-SiteA-1도 유사하게 AI가 자원 제약을 극복하고 사회적으로 고립된 개인들을 위한 돌봄을 확대하는 데 도움이 될 것이라고 믿었다: "돌봄의 혜택을 받을 수 있는 많은 사람들이 있지만, 제한된 자원 때문에 아무런 돌봄도 받지 못했습니다. AI를 통해 더 많은 사람들에게 돌봄을 제공할 수 있기를 바랍니다."

Section 5.1에서 언급했듯이, 많은 의사결정자들은 인간 중심 접근 방식으로는 달성할 수 없는 수준의 더 빈번한 모니터링이 이러한 인구의 안전을 보장하는 데 필요하다고 믿었다. 의사결정자들과 관리자들은 자동화된 안부 확인 전화를 수행하는 AI 챗봇인 CareCall이 모니터링 빈도를 크게 증가시킬 것이라고 예상했다. P-SiteC-1은 CareCall의 자동화된 모니터링이 고립된 섬 주민들을 위한 원하는 안부 확인 빈도를 달성할 것이라고 믿었다: "우리 팀은 지난 몇 년 동안 작고 고립된 섬들을 방문하여 무료 건강 검진을 제공해 왔습니다. 하지만 각 섬을 1년에 한두 번밖에 방문하지 못해서 제대로 된 모니터링이라고 할 수 없었습니다. CareCall을 통해 이제 매주 안부를 확인할 수 있게 되었습니다." 시골 마을의 사회적으로 고립된 노인들을 관리하는 P-SiteA-2 또한 CareCall이 더 자주 모니터링할 수 있게 해줄 것이라고 인식했다: "우리는 자원 제약 때문에 각 개인을 한 달에 한 번 정도만 방문했습니다. 이제 CareCall을 통해 더 자주 안부를 확인할 수 있게 되었습니다."

5.3.2 최소한의 인력 요구

CareCall을 도입할 때, 의사결정자들은 이를 일선 작업자의 부담을 덜어줄 수 있는 효율적인 AI 도구로 보았다. 모니터링 task에 대한 인간 중심 접근 방식은 종종 일선 작업자에게 과도한 부담을 주는 것으로 인식되었기 때문에, 의사결정자들은 AI 도입을 통해 명시적으로 그들의 부담을 덜어주는 것을 목표로 했다. P-SiteG는 다음과 같이 설명했다: "CareCall 도입의 목표는 일선 작업자의 부담을 덜어주는 것이었습니다. 그들은 고독사 위험이 있는 사람들의 안부를 적어도 일주일에 한두 번 확인하도록 요청받았지만, 우리는 CareCall이 그들을 대신하여 안부를 확인하고 업무 부담을 덜어줄 수 있기를 바랐습니다." 일선 작업자들도 P-SiteJ와 유사한 기대를 가지고 있었다: "우리 시는 AI가 저를 대신하여 개인들의 안부를 자동으로 확인함으로써 저의 부담을 덜어주고, 제가 더 많은 돌봄이 필요한 사람들에게 집중할 수 있게 해줄 것이라고 보았습니다."

일선 작업자들은 AI 시스템이 대중과의 반복적인 문의를 자동화하고 검토를 위한 로그를 생성하기 때문에 일선 모니터링에 최소한의 인력만 필요할 것이라고 믿었다. P-SiteC-1은 다음과 같이 말했다: "저는 CareCall의 가장 큰 장점은 시간을 절약해 준다는 것이라고 생각합니다. AI가 정기적으로 사람들에게 자동으로 전화하고 다양한 질문을 해서 통화 기록을 통해 그들이 건강의 여러 측면에서 문제가 있는지 확인할 수 있습니다." P-SiteD-1도 유사하게 언급했다: "CareCall을 사용하기 전에는 그들의 안부를 확인할 수 있는 유일한 방법은 전화하거나 집을 방문하는 것이었습니다. CareCall을 사용하면 더 이상 수동으로 할 필요가 없습니다. 대신 통화 기록을 통해 그들이 어떤 건강 문제가 있는지 확인할 수 있으므로, 저의 관심이 필요한 사람들에게만 후속 조치를 할 수 있습니다."

5.4 Realities of AI-Driven Chatbots

Figure 4: AI 기반 챗봇의 현실 – CareCall 도입은 의사결정자들이 공공 인프라를 활용하여 대중의 접근성을 확대하고, 개인이 돌봄 필요성을 전달할 수 있는 채널 역할을 할 것이라는 기대를 충족시켰다. 그러나 일선 및 행정 직원들은 접근성 확대에 인력 증원이 수반되지 않아 업무량이 증가했다고 느꼈다. AI 챗봇 사용은 또한 새로운 노동 수요를 발생시켜, 일선 및 행정 직원들이 건강 문제가 있는 사람들(주황색으로 강조)뿐만 아니라 챗봇 개입에 참여하지 않은 사람들(보라색으로 강조)까지 후속 조치해야 했다.

CareCall이 도입되었을 때, 의사결정자들은 대중의 접근성을 확대하고 모니터링 빈도를 높이려는 기대를 크게 충족시켰다. 이는 CareCall이 사람의 개입이나 전용 하드웨어 방식보다 더 넓은 대중에게 도달할 수 있었기 때문이다. 그러나 최소한의 추가 인력만 필요할 것이라는 모든 직원의 기대는 충족되지 않았다. 일선 직원들은 CareCall 도입이 필요한 자원 없이 돌봄을 확장하고 새로운 유형의 노동을 요구함으로써 업무량을 가중시켰다고 느꼈다. 한편, 일선 직원들은 CareCall이 다양한 돌봄 필요성을 소통할 수 있는 창구를 제공했다는 예상치 못한 이점을 발견했다 (Figure 4).

5.4.1 모니터링 빈도 증가와 함께 공공 접근성 확대

많은 지자체에서 의사결정자들은 CareCall이 자동화된 건강 확인 전화(check-up call)를 통해 공공 접근성을 성공적으로 확대하고 모니터링 빈도를 높였다고 평가했다. 공공 기관의 의사결정자들은 주로 소외된 인구에 대한 돌봄을 확대하기 위해 CareCall을 도입했다. P-SiteB-1은 다음과 같이 설명했다: "우리 지역에서는 CareCall 사용자들이 주로 일선 직원들이 확인하고 싶었지만, 상대적으로 위험도가 낮아 그렇게 할 수 없었던 분들입니다." P-SiteI도 CareCall이 돌봄 확장에 어떻게 도움이 되었는지 유사하게 설명했다: "우리는 어르신 참전용사들을 방문하여 건강을 확인했지만, 하루에 최대 10가구만 방문할 수 있었습니다. 기술의 도움으로 더 많은 사람들에게 다가갈 수 있다면 좋을 것이라고 생각했습니다. CareCall을 통해 우리는 하루에 약 100명의 개인을 모니터링할 수 있습니다."

모든 직원들은 CareCall이 돌봄 수혜자에 대한 모니터링 빈도를 높였다고 언급했다. P-SiteE-1은 CareCall이 경도 인지 장애가 있는 사람들과 주간 단위로 건강을 확인할 수 있게 해준 점을 높이 평가했다: "우리에게는 수천 명의 대상자가 있어서 정기적인 건강 확인이 어려웠습니다. CareCall 덕분에 이제 더 자주 확인할 수 있습니다." 유사하게, P-SiteC-1은 CareCall의 자동화된 모니터링이 고립된 섬 주민들과 주간 단위로 건강을 확인할 수 있게 해준 점을 높이 평가했다: "CareCall은 우리가 매주 건강을 확인할 수 있게 해줍니다. 시스템이 자동으로 사람들의 건강을 확인하고 우리의 주의가 필요한 고위험 사례를 표시해주는 점이 좋습니다."

의사결정자들은 공공 접근성 확대를 가능하게 한 한 가지 요인이 CareCall이 공공 인프라, 특히 전화 네트워크에 의존한다는 점이라고 강조했다. 하드웨어에 의존하는 기술과 달리, CareCall은 예정된 전화 통화를 통해 챗봇 상호작용을 제공하여 전용 장치가 필요 없으며 도입 및 유지보수 비용을 절감한다. 의사결정자와 행정 직원들은 이러한 공공 인프라 의존이 예산 제약 내에서 돌봄을 확장하는 데 핵심적이라고 인식했으며, 종종 전용 하드웨어가 필요한 수동 모니터링 시스템과 비교했다. P-SiteA-2는 CareCall의 낮은 비용이 접근성 확대에 어떻게 도움이 되었는지 강조했다: "센서 기반 시스템은 상당한 초기 비용이 필요해서 확장이 어렵습니다. 1만 달러 예산으로 CareCall을 통해 약 1,000명에게 도달할 수 있지만, 센서 기반 시스템으로는 수십 명에게만 도달할 수 있습니다." 의사결정자들은 또한 CareCall 배포에 필요한 예산을 고령자 돌봄에 사용되는 또 다른 인기 있는 기술 유형인 스마트 스피커 배포에 필요한 예산과 비교했다. 경도 인지 장애가 있는 사람들을 담당하는 사회복지사 P-SiteE-1은 CareCall이 스마트 스피커 배포에 비해 동일한 예산으로 도달할 수 있는 사람의 수를 크게 늘렸다고 강조했다: "우리 팀은 어르신들이 음악을 듣는 등의 용도로 스마트 스피커도 배포하고 있습니다. 제한된 예산으로는 10명에게만 도달할 수 있지만, CareCall은 동일한 예산으로 약 180명에게 도달할 수 있습니다." P-SiteH도 CareCall이 하드웨어에 독립적이라는 점이 스마트 스피커에 비해 비용을 절감해준다는 점을 유사하게 높이 평가했다: "스마트 스피커는 인구 모니터링에 잠재적으로 도움이 되지만 비쌉니다. 우리가 원하는 만큼 많은 사람들에게 돌봄을 제공할 수 없을 것입니다. CareCall은 장치 구매가 필요 없어서 더 많은 개인에게 돌봄을 제공할 수 있었습니다."

CareCall이 전반적으로 개인 모니터링 비용을 절감했지만, 일부 의사결정자들은 대중이 기술과 상호작용하는 방식에 더 잘 맞추기 위해 하드웨어 의존적인 접근 방식과 함께 CareCall을 배포하기도 했다. P-SiteK는 지자체의 일부 개인을 CareCall로 모니터링하고, 다른 개인은 스마트 플러그로 모니터링했는데, 주로 챗봇 사용에 저항감이 있지만 여전히 모니터링이 필요한 사람들을 위한 것이었다: "우리는 일부 사람들이 AI와 대화하는 것에 대해 거부감을 가지고 있다는 것을 깨달았습니다. 우리는 AI에 익숙한 사람들에게는 주로 CareCall을 배포했고, AI와의 상호작용을 좋아하지 않지만 건강이 좋지 않아 지속적인 모니터링이 필요한 사람들에게는 스마트 플러그를 사용했습니다." P-SiteI도 CareCall과 함께 스마트 플러그를 배포했는데, 다른 건강 상태 때문에 일부 지자체에서는 수동 모니터링이 더 낫다고 언급했다: "많은 어르신들이 난청을 겪고 있어서 적절한 전화 통화에 참여하기 어렵습니다. 그런 분들을 위해 우리는 스마트 플러그를 설치하여 전력 사용량을 모니터링했고, 청력이 좋고 정서적 지원이 필요한 사람들에게는 CareCall을 배포했습니다."

5.4.2 필요한 자원 없이 돌봄 확대에 대한 기대

CareCall은 돌봄 확대를 위해 도입되었지만, 현실적으로 일선 직원들은 그 구현을 지원하는 데 필요한 자원이 거의 수반되지 않았다고 느꼈다. 의사결정자들은 종종 CareCall과 같은 AI 시스템을 매우 효율적이고 최소한의 인력만 필요하다고 보았다. 그 결과, AI 도구가 공공 접근성을 확대하고 모니터링 빈도를 높이기 위해 도입되었을 때에도, 대부분의 경우 확대된 돌봄을 관리할 추가 직원을 고용하지 않아 기존 일선 직원과 행정 직원들이 추가 업무를 떠맡게 되었다. 예를 들어, CareCall 도입과 함께 P-SiteK는 약 1,500명의 로그를 혼자 모니터링하는 업무를 배정받았는데, 그녀는 이것이 감당할 수 없다고 느꼈다: "우리 지역은 처음부터 2,000명에게 서비스를 제공하는 것을 목표로 삼았습니다. 현재 우리 지역에서 CareCall 로그를 모니터링하는 사람은 저 혼자이고, 다른 책임도 있습니다. 그렇게 많은 사람들을 모니터링하는 것을 따라잡을 수 없습니다."

일선 직원과 행정 직원들은 AI에 대한 의사결정자들의 인식이 AI 개입을 위한 자원 배분에 어떻게 영향을 미쳤을지 설명했다. 의료 센터의 일선 직원인 P-SiteC-1은 불충분한 자원 배분 뒤에 있을 수 있는 합리적 근거에 대한 자신의 관점을 공유했다: "의사결정자들은 아마 AI가 1,000명을 돌보고 일선 직원들은 고위험군 10%에 집중하기를 원할 것입니다. AI는 효율적이어야 하므로 AI를 도입할 때 더 많은 사람을 고용하고 싶어 하지 않을 것입니다. AI 도입은 더 많은 자원을 할당하기 위한 것이 아닙니다." 자신의 지역에서 CareCall 배포에 대한 결정을 내린 P-SiteB-1은 CareCall 관리에 필요한 자원을 과소평가했음을 인정했다: "우리는 원래 2,000명에게 시스템을 배포할 계획이었지만, 다른 업무에 얼마나 지장을 주는지 보고 1,000명으로 줄여야 했습니다. 예를 들어, 매주 거의 이틀을 CareCall 모니터링에만 써야 했기 때문에 주요 업무를 거의 따라잡을 수 없었습니다."

일선 직원들은 CareCall이 도입한 모니터링 업무가 다른 책임으로부터 자신들을 상당히 분산시켰다고 종종 느꼈다. P-SiteB-3의 일선 사회복지사로서의 주요 역할은 거동이 불편한 어르신들에게 방문 요양 보조원을 배정하는 것이었다. 그러나 CareCall 도입과 함께, 지방 정부는 그녀에게 600명의 로그를 모니터링하는 업무를 맡겼는데, 이는 기존 업무 외에 완전히 새롭고 추가적인 책임이었다. P-SiteB-3은 CareCall이 일선 업무량에 미친 영향을 설명했다: "CareCall이 어떤 경우에는 도움이 될 수 있다는 것을 인정합니다. 어르신들의 건강을 확인하는 것이 제 일상 업무였다면 좋았을 것입니다. 몇 시간 만에 수백 명의 건강을 확인할 수 있으니까요. 그 일은 저 혼자라면 일주일이 걸렸을 것입니다. 하지만 제 일상 업무는 방문 요양 보조원을 보내는 것입니다. 저에게 CareCall은 그 위에 완전히 새로운 업무 세트를 추가했습니다."

따라서 일선 직원들은 CareCall을 통한 확대된 돌봄을 처리하기 위해 추가 자원을 할당할 필요성을 강조했다. 예를 들어, P-SiteA-3은 다음과 같이 말했다: "공공 기관이 새로운 프로젝트를 시작할 때, 기존 일선 직원들은 항상 추가 업무를 떠맡게 됩니다. 이미 과중한 업무량에 시달리고 있음에도 불구하고 말이죠. CareCall 모니터링에 집중할 전담 직원이 있어야 합니다." 모든 직원들은 AI 도입이 추가 자원 없이는 그들의 부담만 가중시킬 뿐이라고 주장했다. 왜냐하면 AI도 필연적으로 인력을 필요로 하기 때문이다. P-SiteG는 다음과 같이 말했다: "목표는 공무원들의 부담을 덜어주는 것이었지만, 프로젝트가 기존 직원들에 의해 관리된다면 우리의 부담만 가중될 뿐입니다. AI가 모니터링을 하지만, 후속 조치는 인력을 필요로 합니다." 이러한 분위기 속에서 몇몇 정부 기관은 CareCall 모니터링 업무를 외주 주기 시작했다. 지방 정부의 의사결정자인 P-SiteB-1은 다음과 같이 설명했다: "내년에는 CareCall 모니터링만을 위한 인력을 고용할 예산을 편성할 계획입니다. 이것 없이는 우리 사회복지사들이 다른 업무를 따라잡을 수 없습니다."

5.4.3 일선 및 행정 직원을 위한 새로운 유형의 노동 도입

Section 5.3.2에서 언급했듯이, 많은 의사결정자들은 CareCall이 반복적인 건강 확인 전화를 자동화함으로써 일선 직원의 부담을 줄여줄 것으로 기대했다. 실제 환경에 도입되었을 때, 일부 행정 직원들은 기존 하드웨어 의존 기술과 달리 공공 인프라를 활용하여 하드웨어 유지보수 필요성을 줄이는 데 도움이 된다는 것을 발견했다. P-SiteG는 CareCall이 이전에 관리 및 배포를 담당했던 스마트 플러그와 달리 장치 고장 및 분실 처리, 신규 참여자 장치 설치, 중도 이탈자 장치 회수 등 어떠한 장치 유지보수도 필요로 하지 않는다는 점을 높이 평가했다: "스마트 플러그 관리는 많은 일이었습니다. CareCall은 그런 것이 전혀 필요 없습니다." 유사하게, P-SiteI는 사회 로봇 관리와 비교하여 CareCall 배포의 편리함을 강조했다: "그 로봇들은 정기적으로 충전해야 하고 가끔 기술적인 문제가 발생했습니다. CareCall은 시스템 관리에 최소한의 노력만 필요하다는 점이 좋습니다."

그러나 일선 직원들은 CareCall 도입이 새로운 유형의 노동을 요구함으로써 전반적으로 그들의 부담을 가중시켰다고 느꼈다. Section 3에서 언급했듯이, CareCall은 세 번의 전화 시도 후에도 응답하지 않은 개인을 담당 공무원에게 알리도록 설계되었으며, 각 정부는 이러한 누락을 처리하기 위한 자체 프로토콜을 가지고 있었다. 예를 들어, SiteB는 '당일 프로토콜'을 가지고 있었는데, 이는 일선 직원들이 CareCall 전화를 놓친 모든 개인을 당일 확인하도록 요구했다. 목표는 돌봄 수혜자의 안전을 보장하는 것이었지만, 일선 직원들은 종종 그러한 프로토콜이 과중하다고 느꼈다. CareCall 도입 후 1,000명을 모니터링하도록 배정된 일선 직원 P-SiteB-3은 매주 하루나 이틀을 놓친 전화에 대한 후속 조치에만 써야 했다고 말했다: "매주 수요일마다 전화 상태를 확인하기 전에 마음의 준비를 해야 합니다. 결과가 어떻게 나올지 모르기 때문에 매주 약간 불안합니다. CareCall이 세 번 시도하지만, 사용자 중 약 10%는 응답하지 않아서 매주 수요일 평균 100명에게 전화를 걸어야 합니다." P-SiteF도 누락 처리 프로토콜을 준수하는 것이 어렵다고 인식했다: "참여자(participant)가 전화를 받지 않으면 불안해집니다. CareCall, 사람의 전화, 또는 방문을 통해 그 사람이 괜찮은지 확인할 수 없으면, 911에 전화해서 강제로 현관문을 열어야 합니다. 그것은 그들에게 큰 불편을 줄 것이므로, 저는 그렇게 하고 싶지 않습니다." 행정 직원들도 누락 처리에는 여러 기관 간의 조정을 위한 추가 업무가 필요하다고 보고했다. P-SiteB-2는 누락을 해결하는 복잡한 조정 과정을 설명했다: "지역사회 돌봄 센터는 전화 로그를 모니터링한 후 공무원의 주의가 필요한 개인 목록을 작성하여 우리에게 전달합니다. 그러면 우리는 그 목록을 지방 정부에 전달하여 각 지역의 공무원들에게 연락할 수 있도록 합니다. 전체 과정이 매우 복잡합니다." 이러한 누락 처리 행정 업무는 다른 직원들에게도 시간 소모적이고 부담스러운 것으로 인식되었다.

일선 직원들은 CareCall 사용자 참여 누락을 처리하는 것이 불필요하다고 보았다. 왜냐하면 이러한 누락은 일반적으로 건강 문제 때문이 아니었기 때문이다. 고립된 섬 주민들을 담당하는 P-SiteC-2는 누락이 종종 참여자들이 AI를 싫어하기 때문에 발생한다고 생각했다: "CareCall은 누군가 전화를 놓치면 무슨 일이 생겼을 수도 있다고 가정하지만, 종종 사람들은 나쁜 일이 생겨서가 아니라 단순히 AI와 대화하는 것을 싫어해서 전화를 받지 않습니다. 이제 우리는 그들에게 몇 번 전화를 걸어보고, CareCall을 놓치면 지역 공무원에게 방문을 요청해야 합니다. 하지만 솔직히 그렇게 많은 노력을 기울이는 것에 회의적입니다." 어르신 참전용사들을 관리하는 P-SiteI는 누락이 응급 상황보다는 종종 건망증 때문이라고 언급했다: "우리는 매주 정해진 시간에 CareCall 전화를 보내므로 주의를 기울여 달라고 요청합니다. 그러나 어르신들은 종종 휴대폰을 어딘가에 두고 잊어버립니다. 우리는 그들이 받을 때까지 계속 전화하지만, 사람들이 전화를 받지 않으면 할 수 있는 일이 많지 않습니다." 불필요한 업무를 최소화하기 위해 일선 직원들은 후속 조치를 더욱 자동화하여 AI의 역할을 확장할 것을 제안했다. P-SiteJ는 다음과 같이 말했다: "지금은 CareCall에 응답하지 않은 사람들에게 연락하는 것이 우리의 책임이지만, 다음 날 자동으로 다시 시도할 수 있었으면 좋겠습니다." P-SiteI도 유사하게 "시스템이 최소한의 또는 전혀 인간의 개입을 요구하지 않았으면 좋겠습니다. 수동으로 후속 조치를 요청하지 않고 몇 번 더 시도할 수 있었으면 좋겠습니다."라고 바랐다.

또한, 일선 직원들은 CareCall 사용자 참여 누락이 콜백(callback) 처리라는 추가 업무를 발생시켰다고 언급했다. 챗봇이 일선 직원의 사무실 번호를 사용했기 때문에, 참여자들은 CareCall의 부재중 전화를 보고 사무실로 자주 전화를 걸었다. 그러나 일선 직원들은 이러한 콜백이 종종 과중하다고 느꼈다. P-SiteG는 다음과 같이 설명했다: "저는 자주 콜백을 받는데, 사람들은 종종 전화하는 김에 수다를 떨고 싶어 합니다. 정서적 지원이 필요한 사람들을 모집했으니 당연한 일이지만, 빠르게 쌓여서 감당하기 어려워집니다." P-SiteB-1도 콜백 처리의 어려움을 유사하게 설명했다: "CareCall 사용자들로부터 많은 콜백을 받습니다. 문제는 그들이 종종 수다를 떨고 사회 서비스에 대해 묻고 싶어 하기 때문에 통화를 짧게 유지하기 어렵다는 것입니다. 통화당 30분은 쉽게 걸릴 수 있습니다."

5.4.4 다양한 돌봄 필요성을 소통할 수 있는 창구 마련

우리는 CareCall 도입이 예상치 못하게 돌봄 수혜자들이 다양한 필요성을 소통할 수 있는 창구 역할을 하여, 일선 직원들이 필요한 지원을 제공할 수 있게 했다는 것을 추가로 발견했다. LLM 기반 챗봇의 개방형 특성으로 인해 사용자들은 CareCall과 상호작용할 때 다양한 건강 관리 및 사회 서비스 필요성을 표현했다. CareCall이 이러한 요청을 처리하는 것을 목표로 하지 않았음에도 불구하고, 일선 직원들은 전화 로그를 통해 이러한 필요성을 식별할 수 있는 능력을 높이 평가했으며 종종 이에 대해 조치를 취했다.

일선 직원들은 CareCall 전화 로그를 통해 개인의 정신 건강 필요성을 가끔 발견했으며, 이는 그들이 더 자주 건강을 확인하도록 이끌었다. P-SiteA-2는 다음과 같이 말했다: "사람들이 CareCall 통화 중에 우울하고 외롭다고 자주 언급하면, 우리는 반드시 방문하여 건강을 확인합니다. 그리고 필요할 때 정신 건강 지원이나 구직 지원과 연결해줍니다." 정신 건강 센터에서 일하는 P-SiteE-1은 CareCall 통화를 모니터링할 때 특히 정서적 고통 표현에 주의를 기울였고, 우려가 발생하면 후속 조치를 취했다: "전화 로그에서 눈에 띄는 것을 발견하면 전화를 겁니다. 예를 들어, 누군가 '너무 우울해서 죽고 싶어요'라고 말하면, 저는 반드시 연락을 취합니다. 많은 경우, 그들이 하고 싶은 말을 들어주는 것만으로도 기분이 나아집니다."

또한, 지역사회 보건 센터 환경에서 일선 직원들은 전화 로그에서 신체 건강 문제를 발견했을 때 개인에게 임상 치료를 받도록 권유할 수 있었다. P-SiteC-2는 CareCall 로그 모니터링을 통해 개인의 건강 문제에 대해 조치를 취한 것을 설명했다: "많은 어르신들이 밤에 자주 깨면 수면제를 복용하지만, 사실 이러한 문제는 종종 비뇨기과 문제 때문입니다. 누군가 반복적으로 수면 문제를 언급하는 것을 발견했을 때, 저는 후속 조치를 취하고 비뇨기과 의사를 만나러 오도록 권유했습니다. 방문 후 다행히 수면 문제가 해결되었습니다." P-SiteC-1도 CareCall 통화 중에 표현된 건강 문제가 필요한 의료 서비스와 연결하는 데 어떻게 도움이 되었는지 유사하게 설명했다: "누군가 통화 중에 심한 허리 통증을 언급하는 것을 발견했습니다. 저는 후속 조치를 취하고 X-레이를 찍고 물리 치료를 받을 수 있도록 방문하도록 권유했습니다."

더 나아가, 일선 직원들은 CareCall 로그를 모니터링하면서 의도된 범위를 넘어선 사회 서비스 필요성까지 식별하고 해결했다. P-SiteB-3은 CareCall 모니터링을 통해 개인을 사회 서비스와 연결하려는 열망을 설명했다: "우리는 CareCall이 단지 건강 확인을 위한 것이라는 것을 알지만, 처음부터 더 많은 것을 원했습니다. 예를 들어, 구직이나 방문 요양 보조원 파견과 같이 필요가 발생하면 관련 사회 서비스와 사람들을 연결하는 것입니다." P-SiteB-2는 전화 로그를 모니터링할 때 "누군가 최근 수술을 받았고 재정 지원을 요청했다"와 같은 세부 사항을 기록하여 지역 공무원들이 그들을 자원과 연결할 수 있도록 한다고 덧붙였다. P-SiteL은 CareCall이 자연재해 복구에 어떻게 유용했는지 설명했다: "지난 장마철은 우리 도시에서 꽤 심각했고, 사람들은 CareCall 통화 중에 누수나 홍수와 같은 문제를 언급했습니다. 그 기간 동안 저는 전화 로그에 특별히 주의를 기울였고, 집 수리와 같은 도움을 위해 지역사회 센터에 연락했습니다. 시스템이 비상 대응을 위한 것은 아니지만, 잘 작동했습니다."

6 Discussion

우리의 연구 결과는 공공 기관의 기대와 CareCall 배포 현실 간의 불일치를 보여준다. CareCall은 일선 공중 보건 모니터링의 부담을 완화할 것이라는 기대와 달리, 확장된 돌봄을 관리하기 위해 상당한 인적 노력을 요구했다. 이러한 LLM 기반 기술 채택에 대한 인식과 현실 간의 불일치는 다른 분야에서도 논의되고 있는 부분과 유사하며, 종종 기술이 실제 제공할 수 있는 능력보다 더 큰 역량을 가질 것이라고 가정되는 경향이 있다 [27,28,72].
우리는 articulation work [71] 관점에서 우리의 연구 결과를 살펴보며, 공중 보건 분야의 의사 결정자들이 AI 챗봇 채택에 필요한 articulation work를 수행하는 데 있어 독특한 어려움에 직면하고 있음을 강조한다. 특히 이는 LLM 기반 챗봇의 open-ended 특성 때문이다. 우리는 공중 보건 환경에서 이러한 신기술을 구현하는 의사 결정자들을 위한 가이드라인 및 모범 사례 개발의 필요성을 지적한다.
우리의 연구 결과는 또한 CareCall이 일선 작업자들에게 상당한 유지보수 작업(maintenance work)을 초래했음을 보여주는데, 이는 주로 챗봇 사용자 참여에 대한 기대가 충족되지 않았기 때문이다. 우리는 이러한 AI 챗봇이 공중 보건 모니터링에서 요구하는 유지보수 작업을 인정하고 고려하는 것의 중요성을 주장한다.
또한, 우리는 공중 보건 모니터링을 위해 AI 챗봇 사용을 고려하는 공공 기관에 대한 시사점을 제공한다. 이는 open-ended 대화가 충족되지 않은 돌봄 요구를 식별할 수 있는 잠재력과 AI 채택이 인력의 노동 수요에 미치는 영향을 평가할 필요성에 초점을 맞춘다.
공중 보건 모니터링에 AI 챗봇을 유용하게 만들고자 하는 디자이너 및 개발자에게는 공공 인프라를 활용하고, 오류 발생 시 대체 메커니즘(fallback mechanisms)을 통합하며, 챗봇을 보완하기 위해 수동 감지(passive sensing)를 활용할 기회를 제안한다.
마지막으로, 우리는 본 연구의 한계점, 특히 연구 결과의 다른 국가 및 도메인으로의 전이 가능성에 대해 보고한다.

6.1 Considering Decision-Makers' Articulation Work for AI Chatbot Adoption

본 연구를 통해 우리는 공공기관의 의사결정자들이 AI 챗봇이 더 많은 사람들에게 도달할 수 있을 것이라고 기대하는 경향이 있음을 발견했다. 이러한 기대는 대체로 실현되었지만, 의사결정자들은 이러한 시스템을 효과적으로 운영하는 데 필요한 자원에 대한 계획을 적절히 세우지 못하는 경우가 많았다. 전반적으로, 이러한 AI 챗봇들은 직원 증원 없이 모니터링 도달 범위와 빈도를 확장할 것이라는 기대를 충족시키지 못했다.
의사결정자들은 초기에는 CareCall과 같은 AI 챗봇이 매우 효율적이고 최소한의 인간 감독만 필요할 것이라고 인식하며, 공중 보건 모니터링 능력에 대해 비현실적인 기대를 가지고 있었다. 이러한 인식은 다양한 주제에 대해 자연스러운 대화를 수행하는 open-domain, LLM 기반 챗봇(예: ChatGPT, Google Gemini)과의 개인적인 상호작용뿐만 아니라, 이러한 기술에 대한 광범위한 미디어 및 문화적 논의의 영향을 받았을 수 있다. 그러나 실제로는 일선 직원과 관리자들은 건강 문제 추적 및 누락 처리와 같이 AI 챗봇을 통한 확장된 관리를 위해 상당한 인적 노력을 투입해야 했다. 이러한 불일치는 대규모 건강 모니터링을 위한 AI 운영에 필요한 인적 자원 계획의 실패로 이어졌고, 제한된 자원으로 중요한 돌봄 업무를 수행하는 이미 과중한 업무에 시달리는 일선 직원들에게 추가적인 업무 부담을 주었다.

복잡한 의료 인프라에 새로운 기술을 도입하는 데 필요한 **조정 작업(articulation work)**을 조명하는 기존 CSCW 연구 [4, 22, 66, 71]를 확장하여, 우리의 연구 결과는 의사결정자들이 LLM 기반 챗봇의 능력에 대한 비현실적인 기대 때문에 자원 할당을 위한 조정 작업을 수행하는 데 더 큰 어려움에 직면할 수 있음을 강조한다. 공중 보건 분야에서 이러한 신기술에 대한 확립된 지침과 모범 사례의 부족은 그 능력과 한계, 그리고 운영에 필요한 인적 노력에 대한 더 큰 불확실성을 야기한다. 이러한 어려움을 고려할 때, 공중 보건 환경에서 LLM 기반 챗봇을 구현하는 의사결정자를 위한 지침과 모범 사례를 개발하는 것은 미래 연구를 위한 가치 있는 방향이다. 최근 연구 [35]에서 제안된 툴킷과 유사하게, 이러한 자료들은 의사결정자의 조정 작업을 지원하고 시스템 능력에 대한 보다 현실적인 기대를 형성하는 데 귀중한 통찰력을 제공할 수 있다. LLM 기반 챗봇과 같은 신기술 구현의 복잡성을 헤쳐나가는 데 도움을 줌으로써, 의사결정자들은 이러한 시스템을 보다 지속 가능한 방식으로 운영하는 데 필요한 인적 노력을 더 잘 추정할 수 있을 것이다.

6.2 Accounting for Maintenance Work AI Chatbots Impose on Frontline Workers

복잡한 공중 보건 환경에서 기존 관행에 변화가 생기면 새로운 유형의 노동이 발생할 것이라고 예상할 수 있다. 그러나 본 연구에서 우리는 CareCall 도입이 새로운 노동뿐만 아니라, 공공 기관의 의사 결정자들이 예상하지 못했던 노동도 발생시켰음을 발견했다. 예를 들어, AI 챗봇이 걸었지만 응답되지 않은 전화들을 처리하는 일 등이 그러했다.
선행 연구들 [64, 72, 78]과 일관되게, 우리의 연구 결과는 AI 챗봇이 의사 결정자들이 가졌던 일부 기대를 충족시키지 못함에 따라, 일선 및 행정 직원들이 상당한 유지보수 작업(maintenance work)을 수행해야 했다는 것을 보여준다.
공중 보건 모니터링을 위한 CareCall 도입은 부재중 전화가 사용자의 잠재적인 건강 비상 상황을 나타낸다는 가정 하에 운영되었으며, 이는 사용자들이 비상 상황이 아닐 때는 대부분 전화를 받을 것이라는 의미를 내포했다. 그러나 실제로는 일선 직원들은 사용자들이 단순히 잊어버리거나 AI와 상호작용하고 싶지 않아서 CareCall 사용을 자주 중단한다고 생각했다. 이는 의사 결정자들이 공중 보건 모니터링 환경에서 사람들이 AI 챗봇과 일관되고 자발적으로 소통할 것이라는 오해를 하고 있었음을 시사한다.
Personal Informatics에 대한 연구는 사람들이 일반적으로 건강 모니터링 기술 사용을 의도적으로든 비의도적으로든 자주 중단한다는 것을 보여주었다 [13, 15]. 또한, 선행 연구들은 사람들이 챗봇과의 상호작용을 주저하며, 챗봇 기반 건강 개입 뒤에 있는 인간과 소통하는 것을 선호한다는 점을 강조했다 [33, 45, 63].
선행 연구들을 바탕으로, 우리의 연구는 AI 챗봇을 포함하는 공중 보건 모니터링이 사람들의 일반적인 건강 모니터링 기술 사용 패턴 때문이든, AI 챗봇과의 상호작용에 대한 꺼림칙함 때문이든, 사용 중단(lapse)을 해결하기 위한 유지보수 작업이 필연적으로 필요하다는 것을 시사한다.

이전 연구들은 기술이 일선 직원들에게 추가적인 기대를 요구하는 수단으로 사용될 수 있거나 [76], 혁신이라는 이름으로 업무량 증가를 정상화할 수 있다고 지적했다 [72]. 선행 연구를 확장하여, 우리의 연구는 AI 챗봇 통합이 이러한 도구의 한계를 해결하기 위한 상당한 유지보수 작업을 도입할 가능성이 높지만, 의사 결정자들은 혁신이라는 명목 하에 이를 쉽게 간과하여, 일선 직원들에게 추가적이고 잠재적으로 불필요한 업무를 가중시킬 수 있다는 점을 시사한다.
선행 연구들 [3, 53, 78]을 반영하여, 우리의 연구 결과는 공중 보건 모니터링에서 AI 도입을 개선하기 위한 중요한 방법은 고장 시 의료 인프라를 유지하는 데 있어 직원들의 노력을 적절히 인정하는 것임을 제안한다. 공중 보건 인력에게 과도한 부담을 주지 않기 위해, 우리는 의사 결정자들이 AI가 의료 인프라에 추가할 수 있는 작업 유형, 누가 추가적이고 잠재적으로 보이지 않는 작업을 수행할 것인지, 그리고 그러한 작업을 어떻게 더 잘 인정할 수 있는지에 세심한 주의를 기울일 것을 권고한다.

6.3 Implications for Public Agencies

이 섹션에서는 공중 보건 모니터링을 위해 AI 챗봇을 활용하려는 공공 기관에 대한 시사점을 강조한다. 우리의 연구 결과는 CareCall이 예상치 못하게 다양한 사회 서비스 및 의료 서비스 요구 사항을 전달하는 통로 역할을 했다는 점을 보여준다. 오픈 도메인(open-domain)의 LLM 기반 챗봇인 CareCall은 사용자가 우연히 제기하는 주제에 대해 자유 형식의 대화를 지원하여, 기존의 미리 정의된 대화 흐름을 가진 task-oriented 시스템이 놓칠 수 있는 다양한 돌봄 요구 사항을 사용자가 전달할 수 있도록 한다 [47].

우리의 연구는 오픈 도메인 LLM 기반 챗봇이 취약 계층을 위한 안전망으로서 돌봄 인프라에서 중요한 역할을 할 수 있음을 시사한다. 우리는 공공 기관이 LLM 기반 챗봇과의 대중의 오픈 엔드(open-ended) 상호작용을 활용하여 충족되지 않은 돌봄 요구 사항을 발굴할 것을 권장한다. 이러한 챗봇을 돌봄 인프라에 통합할 때는 충족되지 않은 돌봄 요구 사항을 모니터링하고 관련 사회 또는 의료 서비스로 연계하는 포괄적인 메커니즘을 구축하는 것이 필수적이다.

그러나 이전 연구들은 이해관계자들이 공공 부문의 AI 시스템에 대해 종종 비현실적인 기대를 가지고 있으며, 실제 제공할 수 있는 것보다 더 많은 기능을 부여한다고 강조했다 [30, 35, 59]. 의사 결정자들이 LLM 기반 챗봇의 기능을 과대평가하는 것 외에도, 대중 역시 이러한 기술에 대한 개인적인 경험과 대중 담론에 영향을 받아, 원하는 돌봄을 받지 못할 때 실망할 가능성이 있다 [30]. 이러한 챗봇에 대한 현실적인 기대를 유지하기 위해, 공공 기관은 시스템의 기능과 한계를 최종 사용자에게 투명하게 전달하고, 이러한 시스템을 통해 수집된 데이터를 모니터링하여 공공 기관이 제공할 수 있는 것과 없는 것을 명확히 하는 것이 중요하다.

또한, 우리의 연구 결과는 AI 챗봇 도입이 공중 보건 모니터링에 관련된 노동을 재고하고 재구성할 필요성을 시사한다. 기술 개입이 도입되기 전에는 일선 공중 보건 모니터링이 주로 전화 통화나 가정을 방문하여 돌봄 대상자의 건강과 안녕에 대한 일상적인 질문을 하는 것을 포함했다. 이와 대조적으로, CareCall 도입 후 일선 직원들은 건강 문제를 표명한 사람들을 추적하고 누락된 부분을 해결하는 데 초점을 맞추게 되었다. 요컨대, AI 챗봇이 일선 직원에게 기대되던 일부 노동을 대신하고 그 자리에 다른 종류의 노동을 도입한 것이다. 만약 이러한 AI 기술이 공중 보건 모니터링에 광범위하게 적용된다면, CareCall에서 관찰된 바에 따르면 일선 직원들이 수행하는 노동의 유형뿐만 아니라, 이들이 효과적으로 업무를 수행하는 데 필요한 전문 지식과 훈련의 종류도 변화할 것이다. 우리 연구 참여자들은 CareCall과 함께 일하는 것이 훈련받지 않았거나 전문 분야를 벗어나는 작업을 요구한다고 자주 언급했다. 우리는 이러한 변화가 전반적으로 긍정적인지 부정적인지 논하려는 것이 아니다. 오히려, 우리는 공공 기관이 이러한 AI 시스템 도입이 인력의 일상 업무에 미칠 영향을 비판적으로 평가하여, 도입 여부와 방법을 결정할 것을 촉구한다.

공공 기관의 의사 결정자들이 고려해야 할 핵심 질문은 **AI 챗봇 도입으로 인해 발생하는 업무를 관리하기 위해 일선 직원을 재교육하거나 신규 직원을 고용하는 것과 관련된 다양한 비용(예: 재정적, 사기 저하)**이다. 그러나 이러한 결정이 여러 이해관계자의 일상 경험에 영향을 미친다는 점을 고려할 때, 우리는 의사 결정자들이 기존 일선 직원에게 부과되는 새로운 노동을 더 잘 인식할 필요가 있다고 본다. 이전 연구에서는 직원 보상 증액 또는 추가 직원 고용이라는 명확한 해결책을 제시했지만 [53], 이러한 접근 방식은 일반적으로 자금 부족에 시달리는 공공 기관에서 종종 장벽에 부딪힌다. 다른 접근 방식으로는 시간 추적 등을 통해 이러한 추가 업무의 가시성을 높이는 것이 있지만 [54, 78], 이는 감시받는다는 느낌을 줄 수 있다. 공중 보건 모니터링을 위한 AI 챗봇 도입 여부와 방법에 대한 논의에 모든 이해관계자를 참여시키는 보다 참여적인 접근 방식은 이러한 우려와 위험 중 일부를 해결할 수 있는 잠재력을 가지고 있다 [6, 18, 55, 69].

6.4 Implications for Designers and Developers

이 섹션에서는 AI 챗봇을 공중 보건 모니터링에 활용 가능하게 만들고자 하는 디자이너와 개발자들을 위한 시사점을 제시한다. CareCall이 도달 범위 확장에 대한 이해관계자들의 기대를 충족시킬 수 있었던 중요한 요인 중 하나는 기존 공공 인프라, 특히 전화망을 활용했다는 점이다. 전용 하드웨어를 필요로 하는 기술과 달리, CareCall의 챗봇 상호작용은 기존 전화선을 이용한 전화 통화로 이루어졌다. 이러한 접근 방식은 비용을 크게 절감하여 공공 기관의 예산 제약 내에서 더 넓은 도달 범위를 가능하게 했고, 그렇지 않았다면 하드웨어 관리를 담당했을 일선 직원과 관리자의 부담을 줄여주었다. HCI 커뮤니티의 연구는 보건 기술의 확장성(scalability)을 고려할 필요성을 점점 더 강조해왔다 [51, 79]. 대규모 건강 모니터링을 위한 챗봇을 개발할 때, 기존 인프라 [21, 75, 77] 또는 소셜 플랫폼 [14, 24]을 기반으로 구축하는 것은 확장성을 향상시킬 수 있다. 이러한 접근 방식은 개발 및 관리 부담을 줄이고 [14] 저자원 환경에서 더 넓은 참여를 촉진할 수 있기 때문이다 [77]. 이전 연구와 일관되게, 우리 연구는 공공 인프라를 활용하는 것이 공중 보건 모니터링 챗봇의 확장성 문제를 해결하기 위한 유망한 전략임을 강조한다. 어떤 공공 인프라를 활용할지 결정할 때, 디자이너는 최종 사용자 상호작용 및 더 넓은 이해관계자 워크플로우에 미치는 영향을 신중하게 고려해야 한다.

또한, 우리 연구는 개발자들이 챗봇 기반 공중 보건 모니터링에서 사용자 참여의 공백(lapses)을 해결하기 위한 fallback mechanism을 통합할 기회를 제시한다. 공백은 예상되는 일이지만 [13, 15], 다른 맥락에서는 종종 존중된다. 그러나 고독사 예방과 같이 공중 보건 모니터링이 자주 배치되는 중요한 건강 맥락에서는 이러한 공백이 심각한 건강 비상사태 또는 심지어 사망을 나타낼 수 있으며, 이를 완전히 무시하는 것은 유익하지 않을 수 있다. Fallback mechanism을 통합하면 챗봇 기반 공중 보건 모니터링이 장기적으로 사용자 참여의 공백에 더 탄력적으로 대응할 수 있도록 도울 수 있다. 이전 연구는 개인의 일상적인 디지털 생활의 부산물로 데이터를 생성하는 보조 소스 (예: 소셜 미디어 게시물 및 앱 사용 [11, 13, 57, 73]) 또는 가정 내 환경 모니터링 (예: 물 사용량 또는 전기 소비량 [21, 42, 75])을 활용할 기회를 지적했다. 우리 연구 결과에 따르면 공중 보건 공무원들은 이러한 수동 감지(passive sensing) 접근 방식이 개인 건강 모니터링의 주요 방법으로 사용되기에는 너무 오류가 많다고 보는 경향이 있었지만, 사용자 참여의 공백을 해결하기 위한 fallback mechanism으로는 효과적일 수 있다. 이러한 접근 방식은 데이터를 생성하는 보조 소스로서 개인에게 추가적인 노력을 요구하지 않아, 챗봇 기반 공중 보건 모니터링에서 공백을 처리하는 일선 직원의 부담을 줄여준다. 공중 보건 모니터링을 위한 fallback mechanism으로 수동 감지 접근 방식을 활용할 때 고려해야 할 중요한 요소 중 하나는 전용 하드웨어 장치가 필요한지 여부이다. 이는 유지 관리에 추가적인 노동력을 필요로 하고 비용 때문에 공공 도달 범위를 제한할 가능성이 있기 때문이다. 우리는 개발자들이 챗봇 기반 공중 보건 모니터링을 위한 fallback mechanism으로 기존 공공 인프라를 활용할 기회를 신중하게 평가하고, 동시에 기존 인프라에 기반하지 않는 접근 방식이 추가적인 가치를 제공할 수 있는지 여부도 고려할 것을 제안한다.

사용자 참여의 공백을 해결하는 것을 넘어, 우리는 수동 감지(passive sensing)가 챗봇을 보완하여 다양한 공중 보건 모니터링 요구 사항에 부합할 기회를 추가로 본다. 공중 보건 공무원들은 개인들이 모니터링을 위한 대화형 AI 사용에 대해 종종 회의적이거나 우려를 가지고 있었으며, 대체 기술 접근 방식을 제공하는 것이 그들의 선호도에 부합하면서 이 그룹을 모니터링하는 데 도움이 되었다고 강조했다. 또한, 공무원들은 청각 손실과 같이 인구 집단에서 흔한 일부 만성 질환은 음성 기반 챗봇 체크인에 적합하지 않았으며, 대안을 갖는 것이 유익하다고 강조했다. 대안으로서의 역할 외에도, 수동 감지 접근 방식은 대중의 일상 경험에 대한 이해를 심화할 기회가 있을 수 있다. 예를 들어, 가정 내 센서를 통해 에너지 소비 패턴을 이해하는 것은 챗봇을 통한 자가 보고 행동을 삼각측량하여, 혼자 사는 개인이 어떻게 지내는지에 대한 더 나은 그림을 만들 수 있다. 그러나 우리 연구 결과는 공공 기관이 자원 제약, 변화하는 정책 우선순위, 그리고 새로운 기술 트렌드를 고려하여 새로운 기술 개입을 순차적으로 채택하는 경향이 있음을 시사하므로, 쉽게 채택될 수 있는 방식으로 통합된 접근 방식을 설계할 때 신중해야 한다.

6.5 Limitations and Future Work

본 연구의 목표는 CareCall 사례를 통해 공공기관이 공중 보건 모니터링을 위해 AI 챗봇을 도입할 때 직면하는 기대와 현실을 이해하는 것이었다. 이를 위해 우리는 대한민국에서 CareCall의 도입 및 배포에 참여했던 공공기관 직원들의 관점에 초점을 맞추었다.
우리는 인터뷰 대상자들이 설명한 여러 상황들, 예를 들어 공공기관의 자원 부족이나 일선 직원들의 힘든 근무 환경 등이 대한민국이라는 맥락이나 CareCall의 특정 배포에만 국한된 것이 아니라고 생각한다. 이는 다른 국가에서 공중 보건 모니터링을 위해 AI 챗봇이 도입될 때도 유사한 기대와 도전 과제가 발생할 수 있음을 시사한다.
그러나 우리는 규제 요건, 문화적 규범, 기술 인프라, AI 시스템에 대한 대중의 신뢰, 디지털 헬스 이니셔티브의 전반적인 성숙도와 같은 다양한 국가별 요인들이 공공기관이 공중 보건 모니터링을 위한 AI 도입 및 배포에 접근하는 방식에 상당한 영향을 미칠 수 있음을 인정한다. 따라서 우리의 연구 결과를 다른 지역에 적용할 때는 이러한 맥락적 차이를 고려하는 것이 중요하다.

본 연구는 사회적으로 고립된 개인들, 주로 저소득층 중장년 및 독거노인의 건강과 안녕을 모니터링하기 위해 설계된 시스템인 CareCall의 맥락에 초점을 맞추었다.
위기 관리 또는 만성 질환 모니터링과 같이 다르고 더 넓은 인구 집단을 대상으로 공중 보건 모니터링에 AI 챗봇을 사용하는 것은 다른 대인 관계 및 인프라 역학을 수반할 가능성이 있다. 예를 들어, 위기 관리는 종종 실시간 모니터링 및 의사 결정을 포함하며, 이는 개인의 안녕을 비교적 안정적이고 일상적으로 모니터링하는 것과는 다른 노동 요구 사항을 수반할 수 있다.
또한, 본 연구 맥락에서 대부분의 CareCall 배포는 비교적 소규모로 구현된 파일럿 프로젝트였다. AI 챗봇이 더 큰 규모(예: 주 전체 또는 전국)로 배포될 때, 공공기관은 본 연구에서 관찰된 것보다 더 강력한 자원 계획 및 역할 할당에 참여할 수 있다. 향후 연구는 AI 도입 및 배포에 대한 관점과 관행을 더 잘 이해하기 위해 이러한 요인들이 다양한 공중 보건 영역과 다양한 배포 규모에서 어떻게 작용하는지 탐구해야 한다.

마지막으로, 우리는 참가자들이 CareCall에 대한 기대를 회고적으로 설명했으며, 그들이 제공한 설명이 시스템에 대한 실제 경험의 영향을 받았을 가능성이 있음을 인지한다. 그럼에도 불구하고, 우리는 참가자들의 설명이 AI 기술이 업무량을 줄이고 규모를 확장하는 데 도움이 될 수 있다는 일반적인 기대와 대체로 일치했기 때문에 상당히 신뢰할 수 있었다고 예상한다.
향후 연구는 장기적인 참여를 포함하는 참여적 방법과 같이 공중 보건 종사자들이 기술의 역량을 더 깊이 이해함에 따라 AI 챗봇에 대한 인식이 어떻게 변화하는지 조사함으로써 이점을 얻을 수 있을 것이다.

7 Conclusion

CareCall의 도입 및 배포에 관여한 21명의 공공기관 직원(의사결정, 행정, 일선 모니터링 역할)과의 인터뷰를 통해, 우리는 AI 챗봇이 서비스 범위를 확장할 것이라는 공공기관의 기대가 대체로 충족되었음을 확인했다. 그러나 일선 직원들은 불충분한 자원과 사용자 참여 부족(lapses in user engagement) 처리와 같은 새로운 업무 요구로 인해 업무 부담이 증가하는 경우가 많았다.

우리의 연구 결과는 LLM 기반 챗봇의 개방형(open-ended) 특성과 이러한 신기술에 대한 확립된 가이드라인의 부재가 AI 챗봇 구현에 필요한 articulation work를 수행할 때 의사결정자들에게 고유한 도전 과제를 제시한다는 것을 시사한다. 우리는 또한 AI 챗봇이 일선 직원들에게 부과하는 유지보수 업무(maintenance work)의 중요성을 강조하며, 특히 최종 사용자가 시스템을 사용하는 데 있어 발생하는 문제(lapses)를 고려해야 한다고 지적한다.

공공기관에 대해서는 LLM 기반 챗봇의 개방형 대화를 활용하여 충족되지 않은 돌봄 요구(unmet care needs)를 식별하고, AI 구현이 인력의 업무 요구에 미치는 영향을 비판적으로 평가할 것을 제안한다.

개발자에게는 공공 인프라를 활용하고, AI 챗봇과의 사용자 참여 부족을 더 잘 해결하기 위한 fallback 메커니즘을 통합하며, 공중 보건 모니터링을 위해 AI 챗봇을 보완하는 passive sensing을 활용할 것을 제안한다.

Acknowledgments

참여해주신 모든 분들께 귀중한 통찰력을 제공해주셔서 감사드립니다. 본 연구는 National Science Foundation의 IIS-2237389 어워드와 NAVER Cloud의 NAVER AI Lab 연구 인턴십을 통해 부분적으로 지원받았습니다. 본 문서의 내용은 전적으로 저자들의 책임이며, 자금 지원 기관의 공식적인 견해를 반드시 대변하는 것은 아닙니다.