이루다 사건으로 본 인공지능... 윤리적인 AI에 대한 고찰

 

이루다 사건으로 본 인공지능... 윤리적인 AI에 대한 고찰

• 김해수 기자

지난 4일, 한국 인공지능법학회와 서울대 인공지능 정책 이니셔티브가 '인공지능 윤리의 문제와 이에 대한 정책적, 규범적 측면의 해결방안 모색'이라는 주제로 토론하는 좌담회를 마련했다. 인공지능(AI) 챗봇 이루다에 대한 일부 사용자의 부적절한 사용으로 촉발된 사회적 관심이 인공지능 윤리와 적법한 개인정보 이용이라는 문제로 확산했기 때문이다.

좌담회 패널로는 고학수 교수(서울대학교 법학전문대학원), 한애라 교수(성균관대학교 법학전문대학원), 이준환 교수(서울대학교 언론정보학과), 박상철 교수(서울대학교 법학전문대학원), 정교화 대표변호사(한국마이크로소프트), 정미나 정책실장(코리아 스타트업포럼), 김경만 과장(과학기술정보통신부 인공지능기반정책)이 참석하였다.

 

1. 이루다의 일탈, 무엇이 문제인가

<fallback 전략의 문제점>

[AI 타임스]

대부분의 AI는 fallback 전략으로 학습되지 않은 데이터에 대해서는 '되묻기' 혹은 '사과하기' 전략을 사용한다. 하지만 이루다는 '무관심' 혹은 '회피' 전략을 사용하였다. 이것이 20대 여성 AI 에이전트라는 설정과 맞물리면서 '생각 없이 그저 맞춰주는 어린 여성'이라는 잘못된 페르소나를 만들어냈다는 것이다.

즉, 페미니즘과 같은 성적 지향성을 부정한다기보다 이에 대한 적절한 답변을 찾지 못해 fallback 전략을 사용한 것이 아닌가에 대한 합리적인 추측이 가능하다.

<부자연스러운 관계 형성 시스템>

특정 미션을 수행하면 관계가 깊어지는 이루다 내 친밀도 시스템은 사람들이 챗봇에 대한 진정한 친밀감을 느끼기에는 부적절했다는 의견이다.

이준환 교수는 “이루다 친밀도 시스템을 살펴보면 이루다가 좋아하는 말을 하거나 대화량이 많아질수록 친밀도가 올라간다. 이에 사용자들은 과도하게 친밀한 대화를 게임처럼 수행하게 된다”라고 설명했다.

이어, “사람뿐만 아니라 챗봇과의 관계에서도 지속해서 이어질 수 있는 관계 형성이 중요하다. 최근 많은 연구에서는 사용자가 대화형 에이전트를 사회적 행위자로 인식하고 행동한다고 제시하고 있다. 챗봇과도 서로의 정보를 교환하고 기억하며 공감, 신뢰해야 친밀감이 상승한다. 이루다 개발팀에서는 단순히 대화를 이어가는 것 이외에 관계에 대한 사회적 시각이 필요했던 것”이라고 전했다.

그리고 AI 캐릭터는 왜 모두 여성인가? 라는 질문에 대해 여성성이 공감인지, 관계 형성에 유리하다는 인식 때문이라고 답변할 수 있지만, 이는 여성성의 인식보다 관계의 문제에서 비롯된 결과이다.

대부분의 AI 스피커는 주인과 비서의 관계로 형성되어있었다. 비서=여성이라는 성별 고정관념에 기반한 설계이다. 하지만 이와 다르게 이루다가 만들어낸 캐릭터는 주인과 비서가 아닌 수평적인 관계였기에 사람들은 그 성격에 맞게 관계를 형성했지만, 개발팀에서는 이에 대한 해결책이 부족했다고 본다.

 

2. 해결방안으로는 어떤 것이 있을까

<위의 전략에 대한 올바른 방향성을 추구>
자연어 처리(NLP) 개발 기업들이 이루다와 같은 챗봇을 만들지 않기 위해서는 먼저 fallback 전략을 잘 사용하는 것이 핵심이라는 주장이다. 사용자가 대답할 수 없는 적절한 대답을 찾기 어려운 주제로 질문했을 때 챗봇이 자연스러운 대답을 내놓는 것이 중요하다는 의미다.

또한, 사람들은 상대방의 성격을 보고 그에 맞는 관계를 형성하므로, 단순히 대화를 이어나가는 기술적 성취보다는 관계를 어떻게하면 친말하고 자연스럽게 형성할 수 있는지에 대한 사회적 관계에 대한 시각도 함께 길러나가는 것이 중요하다.

<다양한 언어 공공데이터 개방의 필요성>

[AI 타임스]

윤리적인 AI를 위해 가장 시급한 정부 대책으로는 자연어 데이터 구축 사업을 꼽았다. 스타트업이 사용할 수 있는 양질의 데이터가 상당히 부족하다 보니 무리해서 학습 데이터를 수집했다는 의견이다.

박상철 교수는 "AI 윤리에 대해 정부가 할 일이 많은데 가장 중요한 것은 양질의 구어 말뭉치를 구축하는 것이다. 결국 이루다 사태와 같은 일이 일어난 근본 원인은 쓸만한 말뭉치가 없어서다"라고 비판했다.

이어 "최근, 국립국어원 말뭉치 서비스가 중단됐는데 개선이 아닌 올스탑이 필요한가 의문이다. 당장 교수들도 연구에 국립국어원 말뭉치가 필요한데 대안이 없다"라며 정부의 대처에 대해 아쉬움을 드러냈다.

더불어 정미나 정책실장도 "공공 말뭉치에 들어간 비용이 대략 3,000억 원 정도로 예상된다. 이런 것 없이는 스타트업은 서비스를 전혀 진행할 수가 없다. 정부 공공 차원에서 질과 양을 모두 고려해 데이터를 잘 제공해줘야 한다. 국회 자료와 같이 가공할 수 없는 형태의 공공데이터를 활용할 수 있게 해주는 시스템이 갖춰지면 좋겠다"라고 전했다.

<민감 기술에는 사전 대비책 중요>

[AI 타임스]

사회에서 민감하게 여겨질 수 있는 요소를 포함하는 서비스를 출시할 때에는 대비 전략과 대응책, 책임이 사전에 필요하다는 의견도 나왔다. 마이크로 소프트의 경우 안면인식 기술과 대화형 AI에 대한 가이드라인을 따로 마련한 상태다.

정교화 대표 변호사는 “우리 회사에서는 민감한 사용 사례를 따로 정하고 관리한다. 개인이나 사회에 차별이나 물리적 위해 등 인권 침해와 부정적인 영향을 일으킬 수 있는 기술을 올려 논의한다. 2019년 7월 이후 200건 정도 검토했으며 코로나19 이후 비대면 AI 기술에 대한 관심이 올라가면서 검토수도 훨씬 증가했다”고 말했다.

이어 “안면 인식 기술이 대표적인 예시다. 이 기술은 CCTV나 경찰 도구에 적용되고 유전병 감지와 같은 기능을 수행할 수도 있다. 용도에 따라 기술이 적절한지, 윤리성에 대한 판단에 차이가 벌어진다”고 설명했다.

이루다에 대해서는 "마이크로소프트 가이드라인에 따르면 해당 서비스가 부적절하다는 결과가 나왔을 것이다. 이루다 문제는 마이크로소프트 내 여러 가이드라인에 중복 해당되는 이슈다. 이에 따르면 아마 아직 서비스를 출시하는 것이 어렵다는 결론이 나지 않았을까 생각한다”고 말했다.

더불어 “특히 대화형 AI 가이드를 보면 용도를 명확히 하는 것이 중요한데 이루다는 용도가 무엇인지 분명치 않아 보인다. 개발과정을 보면 이루다는 연애하는 여성 특성을 많이 가질 수밖에 없는데 친구 개념이라는 것이 의문”이라며 이루다의 부확실한 관계 정의에 대해 비판했다.

 

<중복 규제의 혼선을 막기 위한 전담 컨트롤타워의 필요성>
AI 윤리성이 중요한 만큼 규제 정의를 위한 전담 관리 기관이 필요하다는 제안도 나왔다. 관련 부처에서 각자 규제책을 제시하면 기업 입장에서는 제대로 판단하고 따르기 어렵다는 것이다.

정교화 대표 변호사는 "관련된 부처가 많은데 담당자들이 각자 규제를 쏟아내면 혼란스럽다. 정부 내 하나의 컨트롤타워를 만들어 관련 현장의 다양한 의견을 듣고 판단해 일관된 메시지를 줘야 한다"라고 말했다.

이와 관련, 김경만 과장은 "규제와 진흥을 병행하더라도 우리는 진흥에 무게를 두고 싶다. 개인정보위원회, 방송통신위원회와 우리가 다른 점이다. 적절한 규제 기관이 없어 이중 규제를 받도록 하는 일 없게 하겠다"고 밝혔다.

또, "큰 기업은 자체 윤리 규정이 많은데 문제는 중소기업이다. 중소기업, 스타트업은 하고 싶어도 능력이나 자금이 없다. 이들 대상으로 데이터 사용과 알고리즘 개발에서의 윤리 사항 체크리스트를 만들겠다"고 말했다.

 

김해수 기자 | hihello1224@naver.com