연두 (시민건강연구소 회원)
이루다가 불러일으킨 소란은 이제 좀 잠잠해졌지만, 그 여파는 여전히 남아있다. 제작사인 스캐터랩은 페이스북 메신저 기반 대화형 인공지능인 이루다 개발 과정에서 사용자의 동의없이 사적인 카카오톡 대화를 사용하고, 걸러지지 않은 개인정보를 챗봇에 고스란히 노출시키는 등 여러 문제를 일으켰다. 이후 인공지능에 대한 기대만큼이나 우려가 확산되고 있다(관련기사 바로가기).
보건의료 영역도 마찬가지다. 인공지능(Artificial Intelligence, AI)이나 기계학습(Machine Learning, ML)은 종종 보건의료를 통으로 바꿔놓을 잠재력을 지닌 것처럼 여겨진다. 그러나 인공지능에 대한 기존의 논의가 보여주듯 우리 앞에 나타난 새로운 기술은 언제나 장밋빛 미래만을 펼쳐놓는 것은 아니다.
오늘 소개할 논문은 영국 옥스퍼드 대학과 NHS 기술혁신팀으로 이루어진 공동연구진이 국제학술지 <사회과학과 의학>에 발표한 것으로, 보건의료에서 인공지능과 관련하여 제기된 다양한 윤리적 문제를 정리하고 있다(☞논문 바로가기: 보건의료에서 인공지능의 윤리 – 주제범위 문헌고찰). 연구진은 다양한 학제의 문헌에서 보건의료 영역에서 AI 알고리즘을 사용할 때 발생할 수 있는 고유한 윤리적 문제를 찾아보았다. 그리고 ▲보건의료에서 AI를 사용하는 것의 윤리적 위험성을 어떻게 구분할 수 있는가? ▲정책결정자, 규제자, 개발자는 AI의 윤리적 사용을 위해서 무엇을 고려해야 하는가? 라는 두 질문에 답하고자 하였다.
연구진은 윤리적 문제를 인식론적 우려, 규범적 우려, 체계의 복잡성에서 기인하는 추적가능성 문제로 나누어 문헌을 검토하였다.
인식론적 우려에는 확정적이지 못한 근거, 해석할 수 없는 근거, 부적절한 근거의 세 가지 주제가 포함된다. 첫 번째 확정적이지 못한 근거는 알고리즘이 산출한 결과가 확률만을 제시하여 확실하지 않은 경우이다. 스마트워치가 착용자의 부정맥을 보고했을 때 그 결과가 시계의 오류인지, 판단 기준이 잘못 설정되었기 때문인지 분간할 수 없는 것이 대표적인 사례이다. 두 번째 해석할 수 없는 근거는 알고리즘이 의사결정을 내릴 수 있을 정도로 충분한 자료를 사용하지 못하는 경우다. 병원의 전자의무기록(EMR)에서 제공하는 임상의사결정지원시스템(Clinical Decision Support System, CDSS)에 오류가 있거나, 해당 환자에게 적합한 자료를 쓰지 않았을 때 일어날 일을 생각해 볼 수 있다. 세 번째 부적절한 근거는 알고리즘이 산출한 결과가 알고리즘의 학습에 사용된 자료에 대해서만 타당한 경우로서, 서구의 자료로 학습시킨 IBM사의 왓슨이 아시아 환자를 제대로 진단하지 못하는 사례가 여기에 해당한다.
규범적 우려에는 불공정한 결과와 변형효과가 포함된다. 불공정한 결과는 인구집단 사이에 다른 영향이 발생하는 것을 의미한다. 알고리즘이 더 치료가 잘될 것으로 기대되는 환자를 우선시하도록 학습하는 경우 소수민족의 사람들에게 차별적인 결정을 승인하게 되는 것이 대표적인 사례다. 변형효과는 프로파일링같은 알고리즘의 활동이 현실을 예상하지 못했던 방향으로 바꿔놓는 것을 뜻한다. 예컨대 건강앱을 사용하는 개인이 어떤 정보가 수집되는지, 수집된 정보가 어떻게 활용되는지 알 수 없게 됨으로써 자율성과 데이터 프라이버시를 잃는 상황을 상상해 볼 수 있다.
마지막으로 추적가능성 문제는 알고리즘의 활동으로 인해 발생하는 피해를 고치기 어렵고, 누가 그에 책임이 있는지 알 수 없게 되는 상황이 발생할 위험을 의미한다. 사람들은 중요한 의사결정과정을 내릴 때 과정을 충실히 기록·공개하고, 각각의 결정에서 근거를 명확하게 밝혀 잘못된 의사결정의 원인을 파악하고 결정을 수정해나간다. 하지만, 내부를 들여다볼 수 없다는 의미에서 블랙박스라고 불리는 인공지능과 기계학습 과정에서 이에 상응하는 추적이 가능할지는 미지수다. 앞에서 말했던 임상의사결정지원 프로그램의 추천에 따라 내려진 의사결정의 경우가 대표적이다. 임상의사결정지원 프로그램이 잘못된 판단을 내리고, 그것이 누군가의 피해로 이어진다면 누가 책임져야 할까? 또 비슷한 피해가 다시 발생하는 것을 어떻게 막을 수 있을까?
이 세 차원의 문제들은 각각 개인, 대인관계, 집단, 기관, 영역, 사회의 여섯 수준에서 여러 가지 문제를 일으킨다. 그러나 가장 크게 문제가 되는 것은 의료과실이 발생했을 때의 법적 책임이다. 이 문제를 적절하게 다루기 위해서는 AI를 적용하는 각 단계에서 발생하는 윤리적 문제에 대한 이해가 필수적이다. 연구진은 문헌검토의 결과 정책결정자가 다음의 11가지 항목을 고려해야 한다고 제안한다.
- AI를 안전하고 효과적으로 사용하기 위해 보건의료인력은 어떤 역량을 갖추어야 하는가?
- AI에 위임할 수 있는/없는 과업은 무엇인가?
- AI의 임상적 효과성을 입증하기 위해서는 어떤 증거가 필요한가?
- AI와 관련된 피해를 보고하고, 해결하기 위해서는 어떤 기전이 필요한가?
- AI 개발에 관련된 이해당사자의 참여를 어떻게 보장할 수 있는가?
- AI가 제시하는 결과의 설명가능성은 어떻게 보장할 수 있는가?
- AI의 신뢰성, 재현성, 안전성을 보장하기 위해서는 어떤 기전이 필요한가?
- 알고리즘이 보건의료체계에 통합되고, 의사결정의 윤곽을 잡으며, 의료서비스를 최적화하는 과정의 투명성을 어떻게 보장할 수 있는가?
- 전통적/비전통적 건강자료가 AI 의사결정에 어떻게 적절하게 보호받으며, 조화롭게 통합될 수 있는가?
- AI는 선행, 악행금지, 자율성, 정의와 같은 생명윤리적 개념에 어떤 도전을 제기하는가?
- 공정성, 책무성, 투명성 등이 어떻게 지켜질 수 있는가?
물론 이런 점검표를 가지고 있다고 해서 보건의료 영역에서 AI의 윤리적 사용이 담보되는 것은 아니다. <미국생명윤리저널>에 실린 독일과 미국 공동 연구진의 논평은 이 점을 분명하게 한다. 윤리를 충분하게 고려하지 않는 것이 잘못된 AI 개발로 이어지는 유일한 원인은 아니며, AI가 실제로 필요한 변화를 가능하게 하려면 기술의 부정적 영향을 겪고 있는 주변화된 사람들과 함께 나아가는 일이 필수적이라는 것이다. 요컨대 AI를 통해 우리가 살고 싶은 사회가 만들어지는 것이 아니라, 우리가 살고 싶은 사회에 대한 지식을 토대로 할 때 윤리적이고 삶에 도움이 되는 AI를 만들 수 있는 것이다(☞논평: 인공지능 윤리는 만병통치약이 아닙니다).
* 서지정보
– McLennan, S., Lee, M. M., Fiske, A., & Celi, L. A. (2020). AI ethics is not a panacea. The American Journal of Bioethics, 20(11), 20-22. DOI: 10.1080/15265161.2020.1819470
– Morley, J., Machado, C. C., Burr, C., Cowls, J., Joshi, I., Taddeo, M., & Floridi, L. (2020). The ethics of AI in health care: A mapping review. Social Science & Medicine, 113172. DOI: 10.1016/j.socscimed.2020.113172