국회미래연구원

국회미래연구원(원장 김기식)은 11월 11일(수) 브리프 「AI 내재화와 디지털 서비스 탄력성」을 발간했다.

최근 금융권 침해사고에서 AI를 활용한 해킹 가능성이 제기됐지만, AI의 위험성은 외부 공격에 그치지 않는다. 병원의 영상 판독 보조, 지자체의 복지 상담·서류 검토, 은행의 대화형 이체, 통신사의 보이스피싱 탐지처럼 AI가 실제 업무 처리에 결합되는 ‘AI 내재화’가 확산되고 이에 따른 오류와 오작동의 문제가 발생하기 때문이다.

지금까지 디지털 서비스의 대표적인 위험은 서비스가 멈추는 장애였다. 서비스가 멈추면 문제가 바로 드러나고, 복구하면 피해도 멈춘다. 그러나 AI 내재화는 서비스가 정상적으로 돌아가는 가운데 AI의 잘못된 판단이 반복해서 업무에 반영되는 새로운 위험을 낳는다. 예를 들어 AI가 대출이나 복지급여 심사에 잘못된 결과를 내더라도 시스템은 정상적으로 작동하므로, 피해가 쌓인 뒤에야 오류가 발견될 수 있다. 그런데 지금의 대응 체계는 여전히 멈춘 서비스를 복구하는 데 맞춰져 있다. 이에 브리프는 장애 복구 중심의 대응을 AI 오류를 찾아내고 잘못된 처리를 바로잡는 데까지 넓혀야 한다고 지적했다.

해외 주요국은 각기 다른 방식으로 대응하고 있다. 유럽연합(EU)은 금융 서비스의 장애 대비 법과 AI 규제법을 함께 적용해 서비스 중단과 AI의 잘못된 판단 모두에 대비하도록 했고, 미국은 AI 위험관리의 공통 지침을 제공하되 법적 의무는 분야별 감독기관에 맡기고 있다. 영국은 금융회사의 기존 운영 관리와 소비자 보호 의무를 AI 활용에도 그대로 적용한다. 브리프는 세 나라 역시 완성된 체계를 갖춘 것은 아니지만, 운영 기준과 AI 관리 의무를 연결하고 감독 책임을 분명히 한 점은 참고할 만하다고 설명했다.

우리나라에도 관련 제도는 마련돼 있다. 분야별 서비스 운영 기준과 AI기본법, 개인정보보호법이 각각 서비스 장애 대비, 고위험 AI 관리, 자동화된 결정에 대한 이용자 권리를 다룬다. 문제는 이 제도들이 서로 다른 대상과 절차로 따로 운영된다는 점이다. 운영 기준은 서비스 중단에 대비하는 내용이 중심이고, AI 관리 의무와 이용자 권리는 일부 AI와 일부 상황에만 적용된다. 대응 책임도 여러 부처와 기관, 서비스 운영자에 나뉘어 있어, 이용자가 제기한 문제가 실제 교정과 피해 회복까지 이어졌는지 끝까지 확인하는 주체가 분명하지 않다.

브리프는 국내의 핵심 과제가 개별 제도의 부재가 아니라, AI 판단 오류의 발견부터 교정과 피해 회복까지를 잇는 제도 간 연결에 있다고 진단했다. 이를 바탕으로 국민의 권리·안전에 영향을 주는 서비스부터 적용할 세 가지 정책 방향을 제시했다.

첫째, AI 사용 제한·사람 검토 전환 기준을 마련해야 한다고 제시했다. 어느 수준의 오류가 확인되면 AI 사용을 제한하거나 사람의 검토로 전환할지, 그동안 중요한 업무를 어떻게 이어갈지, 이미 영향받은 처리를 어떻게 재검토할지를 대응 기준에 담아야 한다는 것이다. 대응 역량이 부족한 사업자에게는 시험·훈련과 전문 지원을 함께 제공해야 한다고 덧붙였다.

둘째, 대응 주관기관과 관계 기관의 공동 대응 절차를 정해야 한다고 제안했다. 사고의 성격과 범위에 따라 누가 대응을 주관하고, 필요한 조치가 끝났는지 확인할지를 분명히 해야 한다는 것이다. 특히 같은 AI 모델의 문제가 여러 서비스에 동시에 영향을 미치는 경우에 대비해 관계기관 간 정보공유와 공동 대응 경로를 마련해야 한다고 강조했다.

셋째, AI가 권리와 안전에 영향을 미치는 판단을 내린 경우에는 자동화 여부와 관계없이 이용자가 재검토를 요청할 수 있어야 한다고 밝혔다. 재검토 담당자는 판단 근거를 검토해 필요하면 결과를 바꿀 수 있어야 하며, 오류가 확인되면 같은 오류로 영향을 받은 다른 이용자까지 찾아 바로잡아야 한다는 것이다.

브리프를 작성한 유희수 연구위원은 “AI가 업무 깊숙이 들어오면서 서비스는 지속되는데 잘못된 판단이 반복되는 새로운 위험이 생겼다”며, “지금은 오류를 찾고, 바로잡고, 피해를 회복하는 제도가 서로 다른 법과 기관에 흩어져 있다”고 지적하고, “국민의 권리와 안전에 영향을 주는 서비스부터 이를 하나로 이어야 한다”고 강조했다. 끝.

【문의 관련 연락처】
- 보도내용 문의: OOO 연구위원(02-2224-9000)
- OOO 행정원(02-2224-9000)