보고서 리뷰
인공지능의 부패 위험

보고서 : TI(Transparency International), THE CORRUPTION RISKS OF ARTIFICIAL INTELLIGENCE(2022.9.9)

국제투명성기구에서 발간한 보고서 ‘The Corruption Risks Of Artificial Intelligence(2022)’에 따르면 기존의 보고서들은 대부분 AI 기술이 활용됨에 따라 의도치 않게 발생하는 부작용들을 다루어 왔다. 그에 따라 AI와 같은 새로운 기술들이 악의적으로 부패의 ‘조력자’로 남용되어 발생하는 영향은 상대적으로 덜 조명되었다. 이에 국제투명성기구는 이 보고서를 통해 “위탁받은 권력을 가진 자가 사적 이익을 위해 AI 시스템을 남용”하는 것을 의미하는 ‘부패 AI(corrupt AI)’개념을 소개하고 AI가 부패를 구성하는 방식으로 설계, 조작 또는 적용될 수 있는 방식을 정리한다.

이번 보고서 리뷰에서는 해당 보고서를 통해 기업 및 담당자가 AI 기술과 연관되는 부패 위험을 식별하고 관리하는데 참고할 만한 내용을 알아보고자 한다.

AI시스템의 주요 기능

보고서는 먼저 AI기술에 따른 잠재적 부패 위험을 모델링하기 위해 AI시스템의 특징과 부패에 취약한 부분을 설명한다. 우리가 직면한 AI의 부패 위험을 이해하려면 인공지능 중에서도 인공 협소 지능(artificial narrow intelligence)1)에 초점을 맞춰야 한다. 이 시스템은 내부적으로 규칙기반, 머신러닝 등 다양한 알고리즘에 의해 운영된다.

<인공 협소 지능(artificial narrow intelligence)의 알고리즘과 부패 취약성>

규칙기반 알고리즘 프로그래머가 작업의 모든 부분에 대해 코드로 규칙을 작성하는 알고리즘으로 작성된 코드와 알고리즘 운영 간의 관계가 예측 가능하다.
- 취약성 : 규칙이 의도적으로 특정 개인이나 그룹에 유리하게 설정된 경우 부패할 수 있음.
머신러닝 알고리즘 데이터 또는 자체 ‘경험’을 통해 학습하여 의사결정을 내리는 알고리즘을 말하며, 민간 및 공공 부문에서 관심과 활용이 확대되고 있다. 세부적인 의사결정과정이 불투명한 경향이 있어 프로그래머도 완벽히 이해하지 못하는 경우도 있다.
- 취약성 : 불투명성 때문에 부정한 목적으로 악용하려는 사람들에게 취약함.

AI 부패 위험 파악을 위해 사회 기술적 구현에 대한 면밀한 조사 또한 요구된다. AI시스템 개발 및 구현 과정에는 일반적으로 ①기업 최고책임자(commissioner) 또는 소유주, ②데이터 과학자, ③감사인, ④시스템 사용자의 네 주체가 참여한다.

먼저 개발 과정을 살펴보면, 제도적 맥락에 대한 전문 지식을 갖춘 기업의 최고책임자가 새로운 AI 개발 프로젝트를 시작하여 시스템 목표를 설정하고 데이터 과학자 및 프로그래머를 배정한다.

최고책임자는 데이터 과학자 등과 함께 ‘시스템의 핵심 목표 설정 - 윤리적 가치와 선호도 합의 - 신뢰성 있고 유효한 데이터 식별 - 적합한 예측모델 설정’의 단계를 진행한다. 이 단계들은 피드백 과정을 반복하고 지속적으로 업데이트하여 시스템 보안과 공정성을 보장하고 의도되지 않았으나 잠재된 결과를 완화한다. AI시스템에서 중요한 단계는 독립적인 감사인의 엄격한 감사다. 감사인은 알고리즘이 악용될 취약성 등 잠재적 문제를 평가하고 인사이트를 최고책임자와 데이터 과학자 및 프로그래머에게 피드백해야 한다.

또한 이상적으로는 의도치 않은 편향성 등 문제 식별 및 광범위한 제도적, 사회적 맥락 평가를 수행해야 한다. 현실적으로 AI의 윤리보다 기술적 취약성에 대해 감사하고 있어 주로 전문기술지식을 가진 데이터 과학자로 구성된다. 그리고 구현 과정에는 AI 의사결정의 직접적 영향을 받는 사용자가 (자신이 AI의사결정의 대상이 된다는 사실을 인식하지 못하더라도) 주체로 포함된다. 이러한 일련의 과정에는 부패에 취약한 부분도 존재한다. 이를 정리하면 다음의 표와 같다.

<AI시스템 개발 및 구현 과정의 주체별 부패 위험>

기업 소유주/최고책임자 개인적 이익을 위해 비도덕적 AI 이용
데이터 과학자/프로그래머 개인적 이익을 위해 AI시스템 이용 가능성
감사 뇌물을 받고 AI로 인한 잠재적 피해를 외면할 경우 잠재적인 부패 유발
사용자 사용자가 자신의 이익을 위해 AI시스템의 단점을 이용

부패 AI 유형

보고서는 ‘부패 AI’라는 용어를 ‘(위임받은)권력자가 사적 이익을 위해 AI시스템을 남용하는 행위’로 정의한다. 이때 ‘권력자’란 다른 사람이 필요로 하거나 가치 있게 여기는 자원에 대한 접근권한을 가진 사람을 의미한다. 디지털화 되는 사회에서는 코드와 데이터를 가진 사람들에게 더 강력한 힘(권력)이 있다. 이러한 요소 때문에 비도덕적 AI는 기존의 권력 불균형을 공고히 하고 더 악화시키거나, 더 관리하기 어려운 형태의 범죄가 될 수 있다. 보고서는 비도덕적 AI가 특히 문제가 되는 이유를 다음과 같은 몇 가지 유형 및 사례를 통해 설명하고, AI가 부패에 사용될 때 기존의 부패 유형이 어떻게 변형되는지 보여준다.

1. 부패 AI의 설계

사적 이득을 위해 의도적으로 거짓정보를 생성 및 확산시켜 정보를 조작하도록 설계된 AI시스템을 말한다. 예를 들면 정치인 및 기타 권력자들이 자신의 권력을 공고히 하려는 목적으로 상대 후보자나 반대자를 비방, 위협 및 평판을 훼손하고자 딥페이크 영상을 제작하는 것이 있다. AI시스템에 대한 가장 큰 우려사항은 거짓정보가 정확한 정보보다 빠르게 확산되며 특히 소셜미디어에 깊숙이 침투하는 경향이다.

2. 부패 AI 조작

AI시스템이 악의적으로 설계되지 않았더라도 시스템의 취약점을 악용하여 발생하는 부패를 말한다. 크게는 ‘알고리즘 캡처(algorithmic capture)’와 사용자가 AI를 교란하는 것으로 분류할 수 있다.

  • 알고리즘 캡처(algorithmic capture) : 부패에 연루된 데이터 과학자가 특정 그룹에 체계적으로 유리하도록 AI모델의 알고리즘을 조작하는 것을 말한다. 그 예로 AI 채용 시스템의 알고리즘이 원어민 억양을 선호하도록 설계되어 해당언어 능력이 필요하지 않은 직무에도 이민자를 배제하는 것을 들 수 있다. 그 밖에 온라인 구매조달 시스템 또는 사기 탐지 알고리즘의 조작과 관련된 부패도 있다. 이러한 조작은 쉽게 확장되어 대규모의 사람들에게 영향을 미칠 수 있다.
  • 사용자의 AI 교란 : 사용자가 사적 이익을 위해 AI 를 속이는 경우를 말한다. 의사나 병원직원이 수익 극대화를 위해 사진 픽셀이나 촬영 각도를 변경해서 이미지 분류 알고리즘과 보험 소프트웨어를 교란하는 것을 예로 들 수 있다. 이러한 취약점은 이미지 분류 외에도 대부분의 머신 러닝 알고리즘에서도 입증되었는데, 악용될 시에는 또 다른 부패가 발생할 수 있다. 예를 들면 채용 담당자가 뇌물을 받고 AI채용 시스템의 취약점을 파는 행위가 있다. 뇌물수수는 기존에 존재하던 부패유형이지만 AI 알고리즘 시스템의 불투명성과 결합하면 탐지가 더 어려워진다.

3. 부패 AI 활용

선의의 목적으로 만들어졌으나 부패에 이용되는 AI시스템을 말한다. 권력자들이 사적 이익을 위해 AI시스템을 악용하여 라이벌을 감시, 위협, 협박함으로써 자신의 권력을 공고히 하는 것을 예로 들 수 있다. 연관된 사례로 2016년 페가수스 스파이웨어 사건이 있다. 페가수스 소프트웨어는 이스라엘의 보안기업 NSO가 공식적으로는 대테러를 사용 목적으로 제작했으나, 모로코 정부가 이를 여러 나라의 언론인, 인권 운동가, 정부 관계자들의 스마트폰을 해킹하는 데 사용했음이 국제 언론기관들의 보도되었다.

부패의 주요 원인

AI기술의 특성에서 비롯되는 부패 요인들에 대해 정리하면 크게는 기술적 요인과 인적 요인으로 나뉜다. AI의 기술적 요소는 여러 인적 요인을 유발하는 원인이 되기도 한다.

<AI 기술과 부패 위험 요인>

기술적 요인 자율적으로
행동하는 AI 능력		 자율성은AI시스템 자체에 더 큰 책임감을 부여한다, 이런 특성으로 AI시스템 자체가 부패 행위자가 되는 독특한 부패 위험이 발생할 수 있다.
불투명한
작동방식		 알고리즘의 내부적 작동과 결정은 쉽게 설명하거나 관찰하기 어려워 ‘블랙박스’ 알고리즘이라고 부른다. 또한 알고리즘 학습에 사용되는 데이터는 대중의 감시가 닿지 않는 경우가 많아 사적으로 알고리즘이 조작될 가능성이 있다.
수신자에 대한
대규모 개인화		 AI는 '마이크로 타겟팅(microtargeting)2)'을 통해 특정 수신자에게 맞춤형 콘텐츠를 전달할 수 있으며, 낮은 비용으로도 확장 가능하다. 이러한 기술이 악의적으로 사람을 속이는 데 사용되는 경우, 강력한 조작력을 가진다.
인적 요인 AI시스템을 통한
책임의 분산		 사람들은 그동안 동료에게 책임을 분산했으나 이제 AI시스템에도 책임을 전가한다. 책임 분산은 부패의 적발 및 제재 가능성을 감소시키므로 부패의 제약도 줄어든다.
AI가 연루된
부패의 과실 입증 어려움		 데이터나 알고리즘 조작 여부와 주체를 탐지하는 것은 어렵거나 불가능한 경우가 있다. 때문에 부패 행위자는 악의적 조작행위를 부인할 가능성이 높다.
피해자와의
심리적 거리 증가		 AI시스템을 부패에 이용하면, 피해자는 더욱 모호해지고 부패 행위자와 피해자 간 심리적 거리는 더 멀어진다.

권장 사항

보고서는 AI기술과 관련된 새로운 부패 위험에 대응하는 방법을 규제영역, 기술영역, 인적영역으로 나누어 설명한다. 규제영역은 AI부패와 관련된 법 제정을 촉구하는 내용을 다루고 있어 여기서는 제외하였다.

기술영역: 데이터 및 코드의 투명성 강화, 언어의 상호 운용성3) 보장으로 감사 용이성 제고

감사를 수행하려면 데이터와 코드가 공개적으로 사용 가능해야 한다. 데이터 및 코드의 투명성은 책임성을 확보하고 AI부패를 방지하기 위한 중요한 기초 단계다. ‘알고리즘 저스티스 리그(the Algorithmic Justice League)’ 또는 ’알고리즘 워치(Algorithm Watch)’ 등 시민단체를 통한 독립적인 감사도 실시해 볼 수 있다. 이를 통해 알고리즘이 규제 가이드라인에 명시된 윤리적 원칙을 준수하도록 설계되었는지 확인할 수 있다. 감사의 용이성 제고를 위해 데이터 코드의 투명성 외에도 AI시스템의 지속적인 품질 검사와 머신러닝 프로그램의 상호 운용성 촉진, AI악용에 대응하는 알고리즘의 테스트 및 개발도 중요하다.

인적영역: 부패방지 인식 강화

프로그래머, 데이터 과학자와 코드 감사자는 AI시스템을 구현하는데 중요한 이해관계자가 되었으나 이들에게는 부패 방지를 위한 구체적 행동 강령이 마련되어 있지 않다. 전문 교육(윤리), 행동 강령, 규정 준수 지침을 마련하여 데이터 과학자 및 코드 감사자가 AI부패에 민감하게 하는 것은 부패 방지 및 윤리적이고 책임감 있는 AI보장을 위한 출발점이 될 수 있다.
또한, AI도입으로 내부고발자 역량이 감소하고 있다. AI의 인력 대체로 제보 가능한 사람의 절대적 인원 감소와 AI의 부정행위 가능성을 의심하지 않는 AI기술에 대한 긍정적 인식이 그 원인이다. 또한 AI 프로세스의 불투명성은 내부고발능력을 더욱 감소시킨다. 사람들이 AI부패에 대해 말하게 하려면 먼저, 내부고발능력 감소에 대한 인식을 제고해야 한다.

  • 인간 수준에서 단일하게 수행할 수 있는 작업(또는 관련된 작업의 작은 집합)
  • 식별된 선호도에 따라 소수의 사람들을 대상으로 광고를 사용하는 것을 말한다.
  • 같은 기종 또는 다른 기종의 기기 간에 통신할 수 있고, 정보 교환이나 일련의 처리를 정확하게 실행할 수 있는 것.

참고