AI 오남용 예방과 근절을 위한 윤리와 시민감시가 필요하다.
[동영상]AI시대의 급속한 성장에 따라 비례하여 AI오남용도 늘어날 것으로 보인다. 이에따라 악성 오남용의로부터의 사회적 파괴를 예방하고 근절을 하기 위해서는 AI윤리와 시민감시가 필요함을 보여준다.
인공지능(AI) 기술은 자율주행, 정밀의료, 스마트시티 구축 등 다양한 분야에서 인류의 삶을 혁신할 무한한 잠재력을 지니고 있다. 그러나 기술 발전의 빛이 밝을수록 그림자 또한 짙어지고 있다. 오늘날 우리는 AI 기술이 사회 전반에 걸쳐 야기하는 심각한 부작용과 오남용 문제에 직면해 있다.
이 문제는 단순히 기술의 결함을 넘어, 인간의 존엄성과 사회 시스템의 근간을 위협하는 새로운 차원의 도전이다. 본 사업계획서는 이러한 시대적 요구에 부응하여, 기술에 대한 맹목적 반대가 아닌 책임감 있는 기술 발전을 촉구하는 시민 주체의 필요성을 역설하고, 'AI 오남용 예방과 근절, 그리 시민감시가 필요함을 제시하고 있다.
AI 기술의 오남용은 이미 다양한 형태로 우리 사회에 깊숙이 침투하고 있다. 그 양상은 크게 네 가지로 분류할 수 있다.
첫째, 사이버 범죄 및 악의적 활용의 고도화이다. 생성형 AI는 악성코드 개발, 시스템 취약점 연구, 데이터 탈취 스크립트 작성 등 사이버 공격 도구를 손쉽게 만드는 데 악용되고 있다. 특히 WormGPT와 같은 도구는 기존보다 훨씬 정교하고 설득력 있는 비즈니스 이메일 사기(BEC) 메시지를 생성하여 막대한 금전적 피해를 유발한다. 또한, 프롬프트 인젝션과 같은 탈옥 기술을 통해 AI의 안전장치를 우회하여 폭탄 제조법과 같은 위험 정보를 알아내는 사례는 더 이상 전문가가 아니더라도 누구나 심각한 범죄를 저지를 수 있는 시대가 도래했음을 경고한다.
둘째, 허위정보 및 사회적 조작의 확산이다. 딥페이크 기술로 만들어진 가짜 영상과 AI가 생성한 허위 조작 정보는 사회적 불신과 혼란을 야기하는 '인포데믹(Infodemic)' 현상을 심화시킨다. 이러한 가짜뉴스는 특히 선거와 같은 민감한 시기에 여론을 왜곡하여 민주주의의 근간을 흔들고 , 특정 집단에 대한 혐오와 갈등을 증폭시키는 기폭제로 작용한다. 이는 단순히 잘못된 정보의 유통을 넘어, 사회 공동체의 신뢰 체계를 붕괴시키는 심각한 위협이다.
셋째, 알고리즘 편향으로 인한 구조적 차별의 심화이다. AI 시스템은 학습 데이터에 내재된 사회적 편견을 그대로 학습하고 증폭시킨다. 이로 인해 금융권에서는 특정 인종 그룹에 더 높은 대출 금리를 부과하고 , 채용 과정에서는 특정 성별의 지원자를 부당하게 탈락시키며 , 사법 시스템에서는 특정 인종의 재범률을 더 높게 예측하는 등 보이지 않는 차별이 발생한다. 이러한 알고리즘 편향은 기존의 사회적 불평등을 더욱 공고히 하고, 개인에게는 공정한 기회 자체를 박탈하는 결과를 초래한다.
넷째, 개인정보 침해와 통제되지 않는 감시의 일상화이다. AI 모델을 학습시키기 위해 의료 정보, 생체 정보 등 민감한 개인정보가 당사자의 명시적 동의 없이 무분별하게 수집 및 활용되고 있다. 개인의 온라인 활동 기록은 데이터 브로커를 통해 거래되어 상세한 개인 프로파일을 만드는 데 사용되며 , 이는 개인정보 자기결정권의 심각한 침해로 이어진다. 국민 10명 중 7명 이상이 AI로 인한 개인정보 침해를 심각하게 우려하고 있다는 조사 결과는 이러한 문제의 심각성을 방증한다.
이러한 복합적인 위협들은 서로 분리되어 있지 않고, 오히려 상호작용하며 더 큰 피해를 유발하는 '유해성 융합(Harms Convergence)' 효과를 낳는다. 예를 들어, 무단으로 수집된 개인의 SNS 사진(개인정보 침해) 은 딥페이크 성착취물 제작(성범죄)의 재료가 되며, 정교하게 조작된 CEO의 딥페이크 영상(허위정보)은 수백억 원대의 금융사기(사이버 범죄) 로 이어진다. 이처럼 AI 오남용 문제는 다층적이고 연결되어 있어 단편적인 대응으로는 한계가 명확하다.
물론 정부는 '인공지능 기본법' 제정 등을 통해 제도적 기반을 마련하고 있고, 기업들 역시 자체적인 윤리 원칙을 발표하고 있다. 그러나 법제도는 기술 발전 속도를 따라가기 어렵고, 기업의 자율 규제는 이윤 추구 논리 앞에서 무력화되기 쉽다.
진보네트워크센터, 민주사회를 위한 변호사모임(민변) 등 기존 시민단체들이 개별 사안에 대응하고 있으나 , AI 오남용 문제 전반을 체계적으로 감시하고, 피해자 지원과 정책 대안 제시를 아우르는 전담 기구는 부재한 실정이다.
따라서 정부와 기업을 감시하고 견제하며, 오직 시민의 입장에서 피해자의 목소리를 대변할 독립적인 시민 감시 기구의 설립이 그 어느 때보다 절실하다. 'AI 오남용 예방 시민감시단'은 바로 이 비어있는 사회적 책무를 수행하기 위해 꼭 필요하다.