행동하는 윤리경영
신뢰할 수 있는 AI를 위한 주요 지침

AI 기술의 도입으로 생산성 향상과 업무 지원 등의 긍정적 효과가 기대되는 한편, AI기술로 야기될 가능성이 있는 부작용을 최소화하기 위해 국제사회는 규제 가이드라인 및 규범을 개발하고 있다.

국제투명성기구(TI)의 ‘The Corruption Risks Of Artificial Intelligence(2022.9.9)’보고서에 따르면 EU 집행위원회, OECD, 유네스코의 AI 전문가 그룹은 윤리적 AI의 규제 가이드라인들을 제시하고 있는데 그러한 가이드라인의 절반 이상에서 공통적으로 5가지 핵심 원칙(투명성, 정의 및 공정성, 무해성(non-maleficence 또는 ‘do no harm’), 책임성, 개인정보보호)이 언급되고 있다.

한편, 글로벌 회계ㆍ재무 컨설팅 그룹 KPMG와 퀸즈랜드대학교가 함께 개발한 AI 활용 체크리스트 ‘Navigating AI(2023)’는 기업이 비즈니스에 AI를 도입 및 사용할 때 신뢰할 수 있는 AI시스템을 운영할 수 있도록 지침을 제공한다. 이번 행동하는 윤리경영에서는 해당 체크리스트(a checklist to provide and use of AI)를 5가지 핵심 영역을 중심으로 살펴보고 기업 및 담당자가 윤리적 AI 정책 구성을 하는데 도움을 주고자 한다.

1주요 영역별 체크리스트

윤리적 AI를 위한 글로벌 가이드라인들이 공통적으로 제시하고 있는 각 원칙들의 의미와 지침은 다음과 같이 정리할 수 있다.

투명성

‘유네스코 인공지능 윤리 권고’와 EU 인공지능 특별위원회(CAHAI, Ad hoc Committee on Artificial Intelligence)의 ‘AI시스템 법적 프레임워크’에 따르면 AI시스템의 투명성은 다른 원칙과 권리를 보장하는 필수 선결 조건이다. AI시스템이 어떤 기준에 따라 작동하는지에 대한 투명성이 없다면 AI시스템의 영향력 여부나 어떤 영향을 미치는지에 대해 확인하기 어렵거나 불가능할 수 있다. 이는 AI시스템이 수행한 조치에 대한 이의 제기도 어렵게 할 뿐만 아니라, 시스템이 피해를 야기하더라도 개선, 수정이 불가능하게 만든다. 따라서 투명성은 특히 AI시스템이 인권, 민주주의 또는 법치주의에 영향을 미칠 수 있다는 맥락에서 필수적이다.

반면, 투명성의 수준은 항상 맥락과 영향에 따라 적절한 수준이어야 하는데, 이는 투명성과 프라이버시, 안전 및 보안과 같은 다른 원칙 사이에 균형을 이루어야 할 필요가 있기 때문이다. 투명성과 관련하여 KPMG의 보고서에서는 기업이 다양한 이해 수준을 고려해 AI시스템의 알고리즘과 그 결과와 관련하여 다음과 같은 지침들을 제시한다.

  • 알고리즘의 기술적 특징과 설계를 문서화하여 작동 방식과 결과에 도달하는 방법을 이해할 수 있도록 했는가?
  • 알고리즘의 동작과 설계 논리에 대한 명확한 설명이 있는가?
  • 이해관계자에게 어떤 데이터가 수집되고 어떤 프로세스가 자동화되는지 명확하게 알려주고 있는가?
  • 이해관계자가 시행결과에 접근 및 확인할 수 있는가?

책임성

CAHAI의 보고서에 따르면 공공 및 민간 조직 등을 AI시스템을 설계, 개발, 배포 또는 평가하는 인공지능 행위 주체는 시스템에 대해 궁극적인 책임과 함께 각 영역에서 법적 규범이 지켜지지 않거나 최종 사용자 또는 다른 사람에게 부당한 피해가 발생했을 경우, 그때마다 책임을 져야 한다. KPMG의 보고서는 시스템 개발 목표 설정부터 배포 및 유지보수 단계까지 전 과정에서 책임과 의무를 명확하게 정의할 것을 권장하며 다음과 같이 지침을 제공한다.

  • AI시스템에 책임이 있는 사람이 설계, 개발 및 배포 과정 전반에 걸친 자신의 책임 및 통제권을 명확하게 알고 있는가?
  • 이를 적절히 문서화하여 모든 직원이 이용할 수 있도록 했는가?
  • 책임, 거버넌스 구조 및 위험 관리 프로세스가 지역 및 국제적 상황에 부합하는지 평가하고 있는가?

개인정보보호

프라이버시는 인간의 존엄성, 자율성, 활동을 보호하는데 핵심적 권리로 AI시스템 수명주기 전 영역에서 반드시 존중, 보호, 증진되어야 한다. 데이터 보호 프레임워크 및 메커니즘은 개인 정보의 수집 사용 공개 및 데이터 주체의 권리 행사와 관련된 국제 데이터 보호 원칙 기준을 참고해야 하며, 동시에 개인 데이터 처리에 대해 인지동의를 비롯한 타당한 법적 근거와 합법적인 목표를 확고히 해야 한다. 인공지능 행위 주체는 개인 정보를 AI시스템의 전 영역에서 보호하고 있음을 보장하고 그들이 AI시스템의 설계 및 구현에 책임을 진다는 것을 보장해야 한다.

KPMG에 따르면 개인정보 영향 평가 및 절차는 법률 준수 및 이해관계자의 윤리적 개인정보 보호 기대치를 충족하도록 마련되어야 하며, 관련하여 다음의 사항들을 고려해 볼 수 있다.

  • AI시스템에 특정 데이터 액세스가 필요한 이유를 파악하여 액세스해야 하는 데이터의 양을 줄일 수 있는가?
  • AI시스템에 적용할 수 있는 개인정보 영향 평가 메커니즘이 있는가?
  • 적절한 데이터 통제 거버넌스가 마련되어 있는가?
  • 사용 중인 데이터(예: 개인 데이터)의 취약성을 이해하고 있는가? 사용자에게 민감한 개인 정보가 있는가?
  • 시스템의 수명 주기 동안 시스템에서 생성되는 개인에 대한 인사이트와 개인 정보를 동적으로 모니터링할 수 있는 방법이 있는가?

공정성

CAHAI 보고서는 AI시스템이 차별적이거나 부당한 편견과 유해한 고정관념을 지속시키고 증폭시킬 수 있다는 사실을 지적하고 있다. 편향된 AI시스템에 대한 의존은 개인뿐만 아니라 사회 전체에 불평등 심화, 사회결속 약화 등의 부정적인 영향을 미칠 수 있다. 인공지능 행위 주체는 차별적이거나 편향된 결과가 강화되거나 영속화하지 않도록 최대한 합리적인 노력을 기울여서 AI시스템 수명 주기 전 영역에서 시스템의 공정성을 보장해야 한다. KPMG의 지침에 따르면 기업 및 담당자는 AI시스템의 결과를 정기적으로 모니터링하여 다양한 이해관계자를 포용할 수 있도록 불공정한 편견 및 차별이 없고 공정하게 설계되었는지 확인해야 한다.

  • AI 모델에 사용된 데이터에 포함된 의도하지 않은 편향성에 대한 완화 조치를 취했는가?
  • AI시스템으로 인해 취약 계층이 받을 수 있는 영향을 고려했는가?
  • AI시스템이 차별 관련 법 등의 규정을 준수하고 있는가?

무해성(non-maleficence)

CAHAI와 유네스코의 권고에 따르면 AI시스템에서 비롯될 수 있는 개인, 사회, 환경에 대한 피해 방지는 필수적이다. 원치 않은 피해(안전 위험)와 공격에 대한 취약성(보안 위험)은 인공지능 수명 주기 내내 지양되어야 하며 해결, 예방, 제거되어야 한다. 만약, 어떤 결정이 돌이킬 수 없거나 번복하기 어려운 영향력을 가지는 것으로 판단되는 경우나 생사 결정을 논하는 상황이라면 사람이 최종 결정을 내려야 한다. 특히, AI시스템은 사회적 점수 평가(social scoring) 또는 대중에 대한 감시 목적으로는 사용되지 않아야 한다.

KPMG의 보고서에서도 AI시스템의 위험, 의도하지 않은 결과 및 피해 가능성은 배포 전, 배포 중에 완전히 평가되고 완화되어야 한다고 제시한다. 특히 인권과 취약한 이해관계자에 대한 각별한 주의를 요구하고 있다.

  • AI시스템에 대한 인권 평가를 수행했는가?
  • 안전 설계 원칙을 준수하고 있는가? 시스템 설계 시 취약 계층을 고려하고 보호하고 있는가?
  • 기업 차원에서 시스템이 유해한 결과를 초래할 가능성을 매핑하고 적절한 위험 완화 조치를 마련했는가?
  • AI시스템이 창출하는 긍정적인 가치나 영향의 타당성을 증명할 수 있는가?

참고

  • CAHAI - Ad hoc Committee on Artificial Intelligence, A legal framework for AI systems(2021)
  • Deloitte, AI governance for a responsible, safe AI-driven future How Deloitte can help you accelerate your AI adoption(2021)
  • Deloitte, Building trust in AI: How to overcome risk and operationalize AI governance
  • KPMG, Navigating AI(2023)
  • TI(Transparency International), The Corruption Risks Of Artificial Intelligence(2022.9.9)
    https://www.coe.int/
  • 유네스코 한국위원회-한국법제연구원, AI 윤리의 쟁점과 거버넌스 연구-부록 : 유네스코 인공지능 윤리 권고(2021)