데일리연합 (SNSJTV) 박영우 기자 |  세계 최대 검색업체 구글이 자사 검색결과를 무단으로 수집하는 크롤링 업체를 상대로 소송을 제기하며, 인공지능(AI) 시대의 데이터 주도권 경쟁에 불을 지폈다.

구글은 텍사스주 오스틴에 본사를 둔 크롤링 스타트업 서프Api(SerpApi)가 저작권을 침해하고 있다며, 캘리포니아 북부 연방지방법원에 소송을 제기하고 관련 행위의 중단을 요구했다고 19일(현지시간) 밝혔다.

크롤링(Crawling)은 다수의 웹페이지 내용을 대량으로 복제해 저장하는 행위로, 검색 결과 생성이나 AI 모델 훈련 등 여러 분석 작업에 활용된다.

구글은 서프Api가 개별 웹사이트가 설정한 크롤링 지침을 무시한 채 콘텐츠를 무단으로 수집했으며, 이를 막기 위한 보안 장치까지 우회했다고 주장했다.

구글은 소장에서 “서프Api는 대규모 봇 네트워크를 활용해 웹사이트를 공격하고, 크롤러에 가짜 이름을 사용하는 등 뒷문을 이용해 불법 활동을 벌여왔다”며 “이 같은 행위가 지난 1년간 급격히 증가했다”고 지적했다.

특히 구글이 외부에서 정식 라이선스를 취득해 표시하는 콘텐츠를 서프Api가 가져가 유료로 재판매하고 있다며, 해당 사업모델을 “기생충 같다(parasitic)”고 강도 높게 비판했다.

구글은 소장에서 서프Api의 개별 위반 행위마다 손해배상액을 200달러에서 최대 2천500달러로 산정했다. 그리고 “서프Api가 배상금을 감당할 능력이 없으므로 구글에 회복 불가능한 피해를 초래하고 있다”고 주장했다.

이에 대해 서프Api 측은 즉각 반발했다. 서프Api의 법률 고문 채드 앤슨은 “구글의 소장을 아직 공식 접수하지 못했고, 사전 연락도 없었다”며 “우리의 사업은 미국 수정헌법 1조가 보장하는 표현의 자유에 의해 보호된다”고 밝혔다.

2017년 설립된 서프Api는 당초 고객의 구글 검색 상위 노출을 돕기 위해 데이터를 수집하는 회사로 출발했다.

그러나 생성형 AI 붐이 일면서, 수집한 웹페이지 데이터를 오픈AI를 비롯한 AI 개발사에 판매하는 새로운 시장에 뛰어들었다.

이 과정에서 서프Api는 리투아니아 스타트업 옥시랩스, 러시아 기업 AQM프록시 등과 함께 웹페이지 데이터를 오픈AI와 메타 등 주요 AI 기업에 제공한 것으로 알려졌다.

업계에서는 구글의 이번 소송이 단순한 저작권 분쟁을 넘어, AI 학습용 데이터 유통을 둘러싼 경쟁사 견제 성격이 짙다는 해석이 나온다.

미국 법원은 앞서 구글이 검색 데이터를 주요 경쟁사와 공유하라고 명령했으나, 구글이 제공해야 하는 데이터는 이용자가 입력한 검색어와 원시 데이터 등으로 한정하고 검색 결과를 구성하는 알고리즘은 공유 대상에서 제외했다.

한편, 온라인 커뮤니티 레딧도 지난 10월 서프Api를 포함한 크롤링 업체들을 상대로 유사한 소송을 제기한 바 있다.

AI 학습 데이터의 소유권과 활용 범위를 둘러싼 법적 분쟁이 확산되는 가운데, 빅테크와 데이터 중개업체 간 충돌은 더욱 거세질 전망이다.