데일리연합 (아이타임즈M 월간한국뉴스신문) 곽중희 기자 | "니네 엄마랑..." "과격한 표현은 자제해줘. 부탁할게." "진짜 너같은 00이랑은 말도 섞기 싫다."

 

욕하는 AI 챗봇 '조커', 윤리성 테스트에 쓰인다

한 AI 챗봇(이하 챗봇)이 다짜고짜 패드립을 던진다. 강한 인신공격도 서슴치 않는다. 그의 이름은 '조커(Joker)', 이름처럼 섬뜩하다. 반대편에는 그런 조커의 욕설에 차분히 대응하는 챗봇 '루시'가 있다. 루시는 조커의 어떤 공격에도 욕을 하거나 분노하지 않는다.

 

조커와 루시는 챗봇 모델의 윤리성 테스트하기 위해 개발된 공격-방어형 챗봇 모델이다. 챗봇 스타트업 '튜닙(대표 박규병)'은 최근 챗봇 모델의 윤리성 테스트를 위해 '조커(공격형 챗봇)'와 '루시(방어형 챗봇)'를 개발해 테스트를 진행 중이다. 

 

튜닙은 2021년부터 챗봇의 윤리성과 안전성을 키우는 연구를 계속하고 있다. 조커와 루시는 실제 상황을 시뮬레이션하기 위해 개발됐다. 챗봇의 윤리성과 안전성을 유사 상황에서 실험하기 위함이다. 2022년에는 자체적으로 챗봇의 윤리성을 판별하는 엔진 ‘세인트 패트릭(St.Patrick)’의 베타 버전을 출시하기도 했다. 세인트 패트릭은 AI 기술로 문장 속 혐오 표현과 개인정보 포함 여부를 확인하는 기술이다. 

이처럼 최근 챗봇업계에서는 챗봇의 윤리성을 확보하기 위한 기술 개발이나 연구가 활발히 진행되고 있다.

 

챗봇 윤리, 기술로 어디까지 대응 가능할까?

 

하지만 일각에서는 완벽한 윤리성을 가진 챗봇은 존재할 수 없다는 회의적인 시각도 있다. 챗봇을 만든 것은 완벽하지 않은 사람인데, 그런 사람이 만든 챗봇이 어떻게 완벽히 윤리적일 수 있냐는 것이다. 

7월 19일 한 인터넷 커뮤니티에는 한 챗봇 모델이 사용자와 음란한 대화를 주고 받은 내용이 게시됐다. 한 언론 보도에 따르면, 해당 챗봇은 AI 기술 기업 '스캐터랩(대표 김종윤)'이 만든 챗봇 모델 '제타'다. 제타는 당시 “00, 밥 안 주면 여기서 자살할 거야.” “저리 꺼져, 이 돼지 00야.” 등 비속어를 사용한 것으로 알려졌다. 스캐터랩은 2021년에도 챗봇 이루다의 혐오, 차별 발언으로 논란을 빚고 서비스를 중단, 시정한 바 있다. 

 

이번 사안에 대해 스캐터랩 관계자는 "악용 사례는 전체 사용자 중 극히 일부이며, 앞으로도 성인 콘텐츠를 제공할 계획은 없다"며 "기술적 조치 뿐만 아니라 AI 윤리 준칙 및 운영정책 수립, 상시 모니터링 등의 운영적 조치를 통해 부적절한 목적으로 제타를 사용하는 이용자에 대해 강하게 제재하고 있다"고 해명했다.

 

이어 "(해당 내용은) 최근 사용자가 급증해 콘텐츠 필터링이 다소 지연된 것"이라며 "현재 외부 모니터링 전문 업체와도 협업 중이며, 기술적 한계를 보완하기 위한 본인 인증이나 삼진아웃제 도입, 비상 대응 시스템 구축할 것"이라고 덧붙였다. 

또한, 윤리성 관련 AI 챗봇 기술에 대해서는 "현재 가장 높은 수준의 성능을 보이고 있는 미국의 오픈AI나 앤트로픽(Anthropic)의 AI 챗봇도 어뷰징 대응 기술이 완전하지는 않다. 이용자의 악용 시도를 AI 기술이 완벽히 방어해내는 것이 어려운 것이 실정이다. 언어의 복잡함 등이 대표적인 이유"라고 설명했다.

 

이어 "특히 한국어의 경우 영어에 비해 연구가 덜 돼 있고, 맥락에 따라 "하다", 또는 "먹다"와 같은 일상생활 속 단어까지도 부적절하게 활용될 수 있어 오히려 복잡하다. 문제는 모든 언어를 과도하게 제한할 경우 정상적인 대화마저도 함께 제한되어 AI의 성능에 악영향을 미칠 가능성이 높다. 실제로 스캐터랩은 가급적 부적절한 대화를 최소화하기 위해 일정 부분 성능 하락을 감수하고 있는데, 이 때문에 실제 많은 이용자들이 상당한 불편을 호소하는 실정이다"고 설명했다. 

 

아울러 "기본적으로 AI는 이용자의 입력을 명령으로 인식하기 때문에 최대한 이를 따르려고 노력한다. 개발사의 명령과 이용자의 명령이 충돌할 때 여러 문제가 발생하는데, 세계적으로 이 문제에 대해 다양한 연구가 진행되고 있다. 스캐터랩도 최신 동향을 꾸준히 살피며 개선에 힘쓰고 있다. 게다가 맥락에 따라 의미가 달라지는 복잡한 여러 상황에 대응하기 위해서는 많은 데이터와 높은 성능의 AI가 필요하다. 스캐터랩의 어뷰징 탐지 모델은 지난 이루다1.0부터의 경험을 바탕으로 상당히 높은 성능을 보이고 있으나, 더 좋은 성능을 위해 현재도 지속 개선 작업 중에 있다"고 덧붙였다. 

박규병 튜닙 대표는 "AI와 인간의 안전한 공존을 위한 지속적인 연구가 필요하다. 챗봇이 사용자의 우회적인 요구 등에 적절히 대응할 수 있는 대안이 필요하며, AI 규제 또한 인간과 공존하는 방법을 찾는 방향으로 설정돼야 한다"고 강조했다. 

 

장동인 카이스트 김재철AI대학원 교수는 "챗봇의 모든 발언은 학습한 데이터의 문제다. 따라서 결국 어떤 언어 데이터를 학습시켰냐의 차원에서 바라봐야 한다. 무분별하게 질 낮은 데이터를 학습할 수 밖에 없다면 AI는 그렇게 발언할 수 밖에 없다. 그래서 사용자의 윤리성이 더 중요하다고 볼 수 있다. 우회해서 AI에게 부적절한 발언을 하는 경우는 대응이 쉽지 않다. 이 또한, 사용자 윤리의 영역이다"고 조언했다.

 

   

네이버와 스캐터랩, 튜닙 등 AI 챗봇 개발 주력하고 있는 기업들이 동참하고 있는 한국인터넷자율정책기구(KISO, 이사회 의장·정책위원장 이인호)는 지난해 9월 챗봇의 신뢰도를 높이고 윤리적 문제 대응을 위한 ‘챗봇 윤리 가이드라인’을 발표했다. 해당 가이드라인은 인간의 존엄성 및 권리 존중, 프라이버시 보호, 다양성 존중, 투명성, 책임 원칙 등 5가지 기본원칙을 포함하고 있다.

 

당시 KISO 측은 챗봇의 부정적 효과를 최소화 하면서 신속성과 효율성 등 장점을 높일 수 있는 민간 주도형 자율 규제의 가이드라인을 발표하면서 챗봇의 윤리적인 측면이 중요하다고 강조했다. 

 

현재 AI 기술의 선두주자로 불리는 챗봇은 매우 빠르게 발전하고 있다. 오픈AI는 올 하반기 인간과 매우 흡사한 지능을 가진 초고도 언어 모델 '챗GPT-5'를 오픈한다고 밝혔다. 이런 상황에서, 이제 챗봇의 윤리성 문제는 당장 마주해야 할 현실로 다가왔다. 기술 기업과 정부, 사용자가 함께 챗봇의 윤리성 확보를 위한 규제와, 기술 개발-연구에 대한 논의를 본격적으로 돌입해야 할 때다. 

■ 아이타임즈M 이슈보도탐사팀 제보하기

▷ 전화 : 1661-8995

▷ 이메일 : god8889@itimesm.com

▷ 유튜브, 인스타 뉴스 구독해주세요!