델리 국립법과대학교 커뮤니케이션 거버넌스 센터(CCG)와 글로벌 네트워크 이니셔티브(GNI)는 인도 AI 임팩트 서밋 주간인 2월 16일 -17일, 뉴델리에서 전략적 다중이해관계자 대화(이하 ‘대화’)를 개최하였다. 이 행사는 특히 학계, 시민사회, 싱크탱크, 연구자, 그리고 글로벌 사우스의 소외된 목소리를 중심으로 글로벌 AI 거버넌스에 관한 포용적 담론을 촉진하는 것을 목표로 한다. 이 행사와 그에 앞서 준비된 활동들을 통해, 인도 AI 임팩트 서밋에 대한 다중이해관계자의 참여를 가능하게 하고, AI 거버넌스에 참여하는 각 지역 행위자들 간의 교류를 구축하며, AI 거버넌스에서의 지속적인 다중이해관계자 참여를 위한 기반을 마련할 것이다. 2월 17일에 열린 ‘강화와 학습: AI 거버넌스에 관한 다중이해관계자 회의’는 AI 임팩트 서밋 2026의 공식 위성 행사로 지정되었다.
박경신 오픈넷 이사는 16일, ‘급속도로 발전하는 AI 시스템 속에서 개인정보 보호: 신화인가, 메커니즘인가?’ 세션에서 발표했다.
이 세션은 AI 시대 개인정보 보호의 기술적·사회정치적 복잡성에 관한 논의로 시작되었다. 예를 들어, ‘비학습(unlearning)’과 메모리 문제를 고려할 때, 에이전트형 시스템을 포함한 AI 시스템에서 사용자 개인정보 보호를 위한 기술적 고려사항은 무엇인가? 이어서 새로운 맥락에서 기존 개인정보 보호 규제 체계가 어떻게 작동하고 있는지를 논의하였다. 개인정보 보호 프레임워크는 새로운 AI 시스템에 실제로 얼마나 잘 대응하고 있는가? 어떤 긴장 관계가 확인되었는가? 무엇이 발전해야 하는가? 이 논의는 또한 혁신, 투명성, 개인정보 보호 사이의 균형을 맞추기 위한 노력도 탐구하였다.
AI를 구축하는 방식에는 다섯 가지가 있었으나, 지금은 단 하나만이 살아남았다. AI가 인간을 직접 모방하는 방식이다. 인간은 다양하다. 그렇다면 그중 누구를 모방하는가? AI는 방대한 인간 행동 데이터를 통계적으로 일반화하여, 인간의 프롬프트에 대해 가장 그럴듯한 인간의 답변이라고 판단한 것을 출력하는 확률적 기계다. 100억 장의 고양이 사진과 100억 장의 고양이가 아닌 사진이 함께 제공되면, AI는 어린아이가 어른들이 고양이로 인식하는 경향을 학습하듯 배운다. 이러한 인간의 경향성, 기술적으로는 ‘벡터’라고 불리는 것만이 AI에 의해 기억되는 전부다. AI는 고양이의 본질에 대한 어떠한 이해도 갖고 있지 않다. 그런 의미에서 AI는 창의성이 없는 순수한 통계적 도구다. 벤 애플렉의 말처럼, AI의 산출물이 평범함으로 수렴하는 것은 당연한 일이다. AI는 평균화 도구이기 때문이다.
AI는 세 단계를 거친다: 학습 단계 → 추론 단계 → 피드백/개선 단계. AI가 항상 평균화를 수행하는 것은 아니다. 대부분의 평균화는 실제 사용 이전에 이루어지며, 이를 학습이라고 부른다. 이 단계에서 가장 많은 연산 능력, 전기, 그리고 고성능 칩이 필요하다.
학습 단계는 이론적으로 누구의 개인정보도 침해하지 않아야 한다. 학습 데이터가 모두 토큰화되고, 데이터 자체가 아닌 토큰 간의 관계만이 기억되기 때문이다. 뾰족한 귀와 ‘고양이’라는 단어 사이의 더 긴밀한 관계, 바로 그 관계가 기억되는 것이다.
그러나 과적합(overfitting)의 문제가 있다. 학습 데이터에 해리 포터 관련 이미지가 지나치게 많으면, AI는 마법사 학생에 관한 모든 요청을 특정 인물(예: 해리 포터)로 평균화할 수 있으며, 이 경우 출력 결과가 특정 인물에 관한 정보처럼 나타날 수 있다. 과적합을 방지하기 위해서는 모든 학습 데이터의 익명화가 이루어져야 한다.
한국 기업 스캐터랩의 ‘연애의 과학’은 파트너와의 대화 내용을 제출하는 누구에게나 연애 상담을 제공하였다. 이후 그들은 해당 대화 내용으로 AI를 학습시켜 챗봇 ‘이루다’를 만들었다. 이루다는 ‘연애의 과학’ 대화 내용에 등장했던 실제 인물들의 주소를 반복적으로 노출하였다. 이는 과적합의 전형적인 사례다. 물론 더 이상의 맥락 없이 주소만으로 개인정보가 되는지에 대한 논란이 있을 수 있지만, 이 사례에서 해당 데이터는 그 주소 보유자가 ‘연애의 과학’을 이용했다는 의미 있는 정보를 포함한다. 학습 데이터에서 실제 주소를 제거하는 익명화가 이루어졌어야 했다.
추론 단계에서 입력값은 인간의 프롬프트와 해당 세션에 특정된 맥락 정보로 구성된다.
인간의 프롬프트를 얼마나 오래 보유할 것인지는 당연히 사용자가 통제해야 한다. 이는 개인정보 침해 문제일 뿐 아니라 사용자 경험의 문제이기도 하다. 구글 맵을 사용할 때, 지나치게 사용자에게 맞추려 하면서 과거 위치를 계속 참조하는 것이 불편하게 느껴지는 것과 같다. 다만 이러한 유형의 타겟팅이나 정보 큐레이션은 AI 이전부터 존재해 온 것으로, 특별히 AI만의 문제는 아니다.
데이터 보호법 하의 타겟 광고에 관한 판례는 이미 형성되고 있다. 2025년 한국 법원은 세계 최초로 광고 네트워크 운영자인 메타와 구글이 데이터 이용에 관한 충분한 설명에 근거한 동의를 얻지 않은 것에 대해 책임이 있다고 판결하였다. 그들이 동의를 받은 것은 사실이지만, 제3자 행동 데이터(즉, 광고 네트워크와 계약을 맺은 제3자 웹사이트에서 수집되어 사용자 모르게 네트워크에 제공된 사용자 행동 데이터)에 대해서는 충분히 고지된 동의가 아니었다. EU에서는 이러한 웹사이트들이 사용자가 이용을 시작하기 전에 동의 배너를 표시하도록 하는 규정으로 이 문제를 해결하였으나, 이번 한국 판결 이전까지 EU 외 지역에서는 뚜렷한 해결책이 제시된 바 없었다. 타겟 광고는 오직 본인이 미래에 보게 되는 것에만 영향을 미친다는 점에 주목해야 한다. 이는 곧, 제3자에게 데이터가 제공되거나 외부로 유출되지 않더라도, 나의 개인 데이터를 미래의 ‘나’에게 영향을 미치는 방식으로 사용하는 것 역시 개인정보 침해로 평가될 수 있음을 이미 확인한 것이다.
피드백·개선 단계에서는 목표 라벨링과 인간 평가가 AI에 반영되어 벡터(저장된 인간 경향성)를 조정한다. 이 단계는 개인정보 보호 측면에서 중요하다. 한 사용자의 세션에서 나온 정보가 다른 사용자의 세션에 영향을 미치거나 심지어 노출될 수 있기 때문이다. 예를 들어, 수정된 이루다를 가정해 보자. 이루다가 일부 사용자의 피드백에 따라 실시간으로 재학습한다면, 즉 사용자의 피드백에 따라 벡터를 조정한다면, 그 정보가 다른 사용자와의 세션에 영향을 미치거나 노출될 수 있다. 따라서 재학습에 활용되는 데이터에서는 개인 식별 정보를 제거하는 필터링 과정이 반드시 필요하다.
결론:
에이전트형 AI나 대화형 AI는 학습과 추론 단계를 모두 거친다는 점에서 기존 기반 모델과 질적으로 다르지 않다. AI는 단지 확률적 도구일 뿐이다. 강력한 데이터 보호법으로 충분하다. 첫째, 학습 단계와 피드백 단계 모두에서 학습 데이터의 익명화를 요구하고, 둘째, 타겟 광고에 관한 유사한 판례를 활용하여 인간 프롬프트의 보유 기간을 제한함으로써 대응할 수 있다.
AI가 도구라는 사실이 곧 AI가 고유한 방식으로 개인정보를 위협하지 않는다는 의미는 아니다. 사용자가 승인하지 않았을 500달러 구매를 에이전트형 AI가 실행하는 것은, 개인정보자기결정권의 관점에서 보면 개인정보 문제로 볼 수 있다. 우리는 AI의 자율적 의사결정 능력과 그 실행 가능성에 대한 규제, 즉 ‘특이점 통제’가 필요하며, 이는 생명윤리에서 활용되는 기관생명윤리위원회(IRB)와 유사한 형태로 도입될 수 있다.
또 하나 필요한 통제는 데이터의 분배 구조를 보다 공정하게 만드는 것이다. 그렇지 않으면, 소수의 대형 언어 모델(LLM)을 방대한 수의 사람들이 사용하는 상황에서 피드백 단계를 통한 개인정보 침해 가능성이 커진다. 사람들이 개인정보에 대해 우려하는 진정한 이유는 규모의 문제다. 지식재산권을 강화하는 것으로는 이 문제를 해결할 수 없다. 오픈 데이터, 데이터 이동성, 오픈소스 AI가 그 해결책이 될 것이다.
0 Comments