글로벌 경영 전략 컨설팅 회사인 액센츄어(Accenture)와 스탠퍼드 대학교 인간중심 인공지능 연구소(HAI)가 실시한 조사 결과에 따르면 유럽, 북미, 아시아의 기업은 AI 도입 전략에 ‘책임 있는 AI의 요인(공정성, 투명성, 설명 가능성, 개인정보 및 데이터 거버넌스, 신뢰성 및 보안)’ 중 하나 이상을 고려하고 있다. 기업이 위험 완화 를 위해 기업전략에 고려하는 조치로는 ‘데이터 거버넌스’의 비율이 높게 나타난 반면, ‘투명성 및 공정성’의 비율은 상대적으로 낮은 경향이 있어 기업의 인식과 조치 향상이 요구된다.

또한 최근 유럽연합의 EU 인공지능법(EU AI Act), 미국 백악관의 ‘안전하고 보안적이며 신뢰할 수 있는 인공지능(AI) 행정명령’등 위험성이 높은 AI에 대한 규제 조치들이 진행되고 있으므로 기업의 고위험 AI의 안전을 확보를 위해 신속히 프로세스를 마련하고 확산시켜야 한다.

이에 이번 행동하는 윤리경영에서는 AI 윤리 및 안전을 위해 과학기술정보통신부와 한국정보통신기술 협회가 제작한 가이드 라인인 ‘2024 신뢰할 수 있는 인공지능 개발 안내서’(2023) 등을 참고하여 AI 시스템을 계획하거나 설계 또는 도입할 때 특히, AI 거버넌스와 관련하여 청렴윤리경영 담당자가 고려해볼 수 있는 사항들을 알아보고자 한다.

AI 시스템 개발 및 도입 시 점검할 질문들

각국 정부는 AI를 규제하는 정책과 입법을 서두르고 있다. 규제 강화는 AI 산업의 신뢰성을 높이고 장기적으로는 글로벌 시장에서 경쟁력을 강화하는 데 기여할 수 있다. 또한 EU 인공지능법 등은 글로벌 AI의 기준이 될 가능성이 크므로 규제를 준수하는 기업은 글로벌 시장에서도 경쟁 우위를 확보할 수 있을 것으로 보인다. 따라서 기업이 AI 기술의 사용을 고려한다면 AI위험을 이해하고 이에 대한 식별 및 관리 조치를 취해야 한다.

‘2024 신뢰할 수 있는 인공지능 개발 안내서’ 보고서는 미국, 유럽 등 주요 선진국과 국제기구에서 발표한 권고안 및 가이드를 바탕으로 기업이 AI를 사용하는데 있어, 최소한의 신뢰성을 확보하는 방안과 주요 사항을 이해하고 자율 점검할 수 있는 내용을 제공하고 있다. 보고서에 따르면 위해 비즈니스 결정권자는 계획 및 설계단계의 주요 행위자다. 일반적으로 비즈니스 결정권자는 기획자 등과 협력하여 시스템 전체 생명주기에 걸친 신뢰성을 확보하고 요구사항을 검토하고 적용방안을 마련하는 것이 요구된다. 청렴윤리경영 담당자는 AI 시스템의 위험요소를 관리하고 관리체계를 구축하는데 다음과 같은 네 가지 사항들을 참고해 볼 수 있다.

첫째로, AI 시스템에 대한 위험관리를 계획하고 및 수행한다. 시스템이 구현 및 운영되는 과정에서 발생할 수 있는 모델 오인식, 기능 오동작, 보안 및 개인정보 이슈 등의 위험 요소를 사전에 인식한다. 그 뒤 위험의 심각성 및 파급효과를 분석하여 대응 방안을 마련해야 한다.

둘째로, 먼저, AI 관련 법, 규제, 정책, 표준 및 지침을 정리하여 내부적으로 준수할 규정을 수립한다. 또한 이를 관리･감독하는 AI 거버넌스 체계를 구성해야 한다(예: AI 시스템 생명주기에 따른 조직의 업무 역할과 책임을 명문화). AI 시스템의 사회적인 영향과 결과를 예측하고 그에 대비하는 조직을 구성하는 것은 신뢰성 확보에 중요한 요소이다.

셋째로, AI 시스템의 신뢰성 테스트 계획을 수립해야 한다. AI는 추론 연산과정이 예측 불가능하다는 불확실성(uncertainty)을 내포하고 있다. 안전성과 신뢰성을 확보하려면 이를 줄이는 것이 중요하다. 따라서 소프트웨어의 품질 확인 테스트 외에도 추가적인 테스트를 통해 AI 시스템의 신뢰성을 확인할 필요가 있다. 테스트를 계획할 때는 AI 시스템의 복잡도(complexity)와 운영환경을 고려하고, 생명주기 전 단계에서 계획에 따라 정기적･지속적으로 실시해야 한다.

마지막으로, AI 시스템의 추적가능성과 변경이력을 확보해야 한다. 문제 원인을 추적할 수 있도록 AI 시스템 운영 단계에서 시스템 로그, 데이터 모니터링, AI 모델과 사람 간 의사결정 기여도 추적, 변경이력 관리 등의 방안을 확보한다. 이러한 사항들은 아래의 질문들을 통해 검토해 볼 수 있다.

<신뢰할 수 있는 AI 개발을 위한 체크리스트-비즈니스 결정권자의 검토사항>

[출처: 과학기술정보통신부·한국정보통신기술 협회, 2024 신뢰할 수 있는 인공지능 개발 안내서 – 일반 분야(2024.2)]

한편, AI 시스템을 개발하지 않고 조달하는 기업의 경우, AI 거버넌스 관리를 위해 공급업체가 신뢰할 수 있는 AI를 제공하고 있는지 점검해야 한다. 세계경제포럼(WEF)가 발간한 보고서 ‘Adopting AI Responsibly: Guidelines for Procurement of AI Solutions by the Private Sector’(2023.6)는 사용자의 중요한 의사결정에 AI 시스템이 예측이나 권장을 통해 영향을 미칠 것이므로 AI가 윤리적이며 책임감 있고 신뢰할 수 있도록 운영되는 것이 필수적이라고 언급한다. 그러려면 기업은 AI를 도입할 때 (1)비즈니스 전략과 일치 여부 (2)사업 사례 (3)기술 및 데이터 통합 (4)AI 시스템과 윤리적 정렬 (5)위험평가 (6)민첩하고 경제적인 시스템 등을 확인해야 한다. 이와 함께 해당 보고서는 AI 시스템을 조달하기 위한 프로세스 각 단계에서 공급업체를 평가하고 이해하는 데 사용하는 질문을 제공한다. 이 질문들 중 AI 윤리와 거버넌스에 대한 내용을 정리한다면 아래의 표와 같다. 조달하는 업체뿐만 아니라 공급업체도 신뢰있는 AI 거버넌스를 관리하고 AI 시스템을 제공하기 위해 참고해 볼 수 있을 것이다.

<조달시 AI 거버넌스, 위험 및 컴플라이언스 관리: 질문사항>

[출처: WEF, Adopting AI Responsibly: Guidelines for Procurement of AI Solutions by the Private Sector(2023.6)]