경찰 업무에 도입되는 AI, 편리함 뒤에 숨은 책임의 문제

공공안전에 활용되는 AI 기술, 과연 안전한 선택이었을까

미국의 인공지능 스타트업 퍼플렉시티는 경찰관을 포함한 공공안전 분야 전문가들에게 자사 인공지능 기술을 제공하는 새로운 프로젝트를 시작했다. 이 프로젝트는 1월 초에 발표된 「Perplexity for Public Service Organizations」라는 프로그램으로, 퍼플렉시티의 기업용 고급 요금제인 엔터프라이즈 프로를 최대 200개 계정까지 1년간 무료로 제공하는 것이 핵심이었다. 또한 규모가 더 큰 공공기관을 대상으로는 할인 옵션도 함께 마련했다. 이는 인공지능 기술을 공공서비스 영역으로 적극 확대하려는 시도였다.

퍼플렉시티나 챗GPT와 같은 대규모 언어 모델 기반 인공지능 도구를 사용해 본 사람이라면, 이러한 기술이 결코 완벽하지 않다는 사실을 이미 알고 있었을 것이다. 인공지능은 그럴듯한 거짓 정보를 만들어내는 할루시네이션 현상을 일으키기도 했고, 사실과 다른 내용을 진짜처럼 말하는 문제를 가지고 있었다. 또한 학습 데이터에 포함된 문화적 편향을 그대로 재현하는 한계도 존재했다. 이러한 도구들은 인간의 행복보다 사용자의 관심과 이용 시간을 늘리는 방향으로 설계되었다는 비판도 받아왔다. 안전하게 사용하는 명확한 기준과 규칙은 아직 완전히 정립되지 않은 상태였다.

이러한 문제는 경찰이나 법 집행 기관처럼 높은 기밀성과 정확성이 요구되는 분야에서 더욱 심각하게 작용했다. 퍼플렉시티는 이번 프로그램을 통해 경찰관들이 현장에서 더 나은 판단을 할 수 있도록 돕고, 반복적인 행정 업무를 자동화하는 것을 목표로 삼았다. 예를 들어 현장 사진의 내용을 요약하거나, 뉴스 기사와 바디캠 영상의 녹취 데이터를 분석하는 작업, 수사관이 작성한 메모를 체계적인 보고서 형태로 정리하는 업무가 포함되었다. 겉으로 보기에는 비교적 단순하고 무해한 활용 사례처럼 보였다.

그러나 폴리싱 프로젝트의 사무국장이자 AI 정책 자문을 맡고 있는 케이티 킨지는 바로 이 점이 가장 위험하다고 지적했다. 그는 이러한 활용 사례가 단순한 행정 업무로 포장되는 것 자체가 문제라고 보았다. 일상적인 업무에 인공지능이 사용되기 시작하면, 그 결과는 결국 사람들의 삶에 직접적인 영향을 미치게 된다. 경찰 보고서는 단순한 문서가 아니라 기소 여부나 혐의 판단으로 이어질 수 있는 중요한 근거가 되기 때문이다.

학교 수업 내용을 정리하는 정도라면 인공지능의 실수가 큰 문제를 일으키지 않을 수도 있다. 하지만 법 집행 현장에서는 아주 작은 오류도 심각한 결과를 낳을 수 있었다. 예를 들어 인공지능이 터무니없는 내용을 만들어낸다면 사람은 쉽게 이를 무시할 수 있었다. 하지만 문제는 사실을 아주 미세하게 왜곡해 사람이 알아채기 어려운 경우였다. 경찰 보고서의 세부 내용이 인공지능에 의해 잘못 생성되고, 그 결과가 누군가의 억울한 처벌로 이어질 가능성도 존재했다. 실제로 변호사가 인공지능 도구를 사용해 문서를 작성하다가 존재하지 않는 판례를 만들어낸 사례도 이미 여러 차례 보고되었다.

퍼플렉시티 측은 정확성을 최우선 가치로 삼고 있으며, 공공안전 분야 종사자들에게 인공지능 도구를 제공할 준비가 되어 있다고 설명했다. 자체 모델을 처음부터 개발하는 대신 오픈AI나 앤트로픽과 같은 기업의 모델을 활용하고, 추가 학습을 통해 오류를 최소화했다고 밝혔다. 하지만 이러한 설명에도 불구하고 문제는 여전히 남아 있었다.

유럽방송연합과 BBC가 실시한 조사에 따르면, 퍼플렉시티를 포함한 주요 챗봇 네 종류는 최신 뉴스 기사에 대한 질문에 대해 정확성이나 출처 측면에서 중대한 오류를 포함한 답변을 자주 생성했다. 이는 법 집행 기관에서 인공지능을 사용하는 것이 얼마나 위험할 수 있는지를 다시 한번 보여주는 사례였다.

결국 인공지능을 법 집행에 사용하는 책임이 누구에게 있는지에 대한 논쟁이 이어졌다. 완벽하게 오류 없는 인공지능이 등장하기 전까지는 사용에 따른 책임이 개인에게 돌아갈 수밖에 없다는 의견도 제기되었다. 조지 워싱턴 대학교 법학대학원의 앤드루 퍼거슨 교수는 행정적인 용도라 하더라도 인공지능 사용을 선택한 경찰관이 그 위험을 감수해야 한다고 주장했다. 그는 자유와 헌법적 권리가 걸린 영역에서는 더욱 강력한 안전 장치가 필요하다고 강조했다.

반면 케이티 킨지는 책임의 중심이 정책 입안자에게 있다고 보았다. 그는 인공지능 사용 기준을 명확히 규정하는 엄격한 법과 제도가 부족한 점이 가장 큰 문제라고 지적했다. 퍼플렉시티의 이번 시도는 시작에 불과했으며, 앞으로 더 많은 기업이 경찰과 공공안전 기관을 대상으로 유사한 프로젝트를 추진할 가능성이 높았다.

인공지능 기업들은 사용자 확대라는 압박을 받고 있었고, 경찰 조직은 전통적으로 새로운 기술을 빠르게 도입해온 역사를 가지고 있었다. 과거 예측 치안 시스템은 사회적 약자에 대한 편향을 강화한다는 비판을 받았고, 최근에는 얼굴 인식이나 거짓말 탐지에 인공지능을 활용하려는 움직임도 나타났다. 이러한 흐름 속에서 인공지능과 경찰의 관계는 앞으로도 계속해서 사회적 논쟁의 중심에 놓이게 될 것이다.