2008년 검색전쟁… 블로그에서 분다!

지난 10일 다음이 약 4억 건에 달하는 카페 콘텐츠를 검색결과로 볼 수 있도록 서비스를 업그레이드하면서, 2008년 검색전쟁의 불을 지피고 있다.

다음 카페의 콘텐츠 규모는 약 23억 건. 이중 20%만 먼저 오픈됐지만, 그동안 소외받던 카페 콘텐츠를 검색으로 쉽게 찾아볼 수 있게 됐다는 점에서 의미가 크다.

그동안 블로그보다 더 높은 수준의 카페글이 검색되지 못했기 때문. 다음은 이번에 카페 검색을 개편하면서 자체 개발한 검색엔진을 적용했다.

전문가들은 2008년 다시 불붙고 있는 인터넷 검색 전쟁은 '블로그+지식인+카페+뉴스'를 통합한 통합검색에서 시작되고, 특히 블로그 검색이 최대 전쟁터가 될 것으로 보고 있다. 다음이 카페글 검색에 나선 것도 같은 맥락.

개개인이 직접 정보를 생산하는 웹2.0의 트렌드는 높은 수준의 카페글이나 블로그 포스트의 가치를 높여주고 있기 때문이다. 국내 전체 블로그 순 방문자수(2천951만명, 2007년 4월 기준)가 국내 전체 검색 순 방문자수(3천239만2천명)의 91%를 차지하고 있다는 점도 블로그가 핵심 웹서비스로 급성장하고 있다는 것을 보여준다.

하지만 블로그 검색은 국내외 할 것 없이 미완성이다. 그래서 블로그 검색을 재패하는 자가 포스트 네이버 시대를 이끌 것으로 전망된다.

◆블로그 검색, 중복처리와 랭킹 신뢰도 해결이 급선무

지난 7일 '2008 서치20. 에볼루션 세미나'에서 디아이지커뮤니케이션 박민우 이사는 "블로그 검색의 최대 문제점은 중복된 데이터"라고 지적했다.

네티즌들이 자기 블로그에 지식인이나 카페, 뉴스 데이터를 퍼나르는 것은 블로거에게는 '정보'이지만, 검색 사용자에게는 '중복 데이터'일 뿐이라는 말이다.

박민우 이사는 "네이버, 다음, 야후, 네이트, 엠파스 같은 포털이 중복포스트의 온상"이라면서 "블로그 검색에서 중복데이터를 잘 처리해 내는 게 매우 중요하다"고 강조했다.

이날 박 이사는 중복데이터 처리를 위해 ▲특정 임계치 이상의 텍스트 중복이 발견될 경우 후보에 등록해 시간이 오래된 문서를 최초 문서로 규정하고 ▲최초 문서를 검색결과에 반영하되 댓글과 트랙백이 포함된 문서는 링크만 리스트업하는 등 클러스트링 엔진이 필요하다고 설명했다.

실제로 네이버는 CDS(Copy Detection System)를 가동, 블로그에 존재하는 문서와 기사원문의 중복유무와 정도를 계산해 심할 경우 자동으로 검색결과에서 제외하고 있다.

즉 '펌'으로 블로그에 기사를 그대로 베껴 놓았다면 검색결과에 노출되지 않는 식이다.

박민우 이사는 이와함께 새로운 블로그의 주소 파악이 안되고, 순위로 보여주는 데 신뢰성을 얻기 어렵다는 점을 블로그 검색의 난제로 지적했다. 박 이사는 "현재 블로그 검색의 포스트 수집은 RSS리더나 웹 크롤러(Crawler)에 의해 이뤄지는 데 RSS리더에 등록된 채널이 너무 적고 웹과 같은 다양한 링크수도 적어 쉽지 않다"고 말했다.

또 "포스트에서 최신 정보가 갖는 가치에 대해서는 기존 알고리즘으로 해결하기 어려우며, 방문횟수나 댓글수, 트랙백 수, 추천 등 쇼셜 필터링도 아직 검증되지 않았다"고 지적했다.

◆대형포털, 전문업체 경쟁...5% 위한 포스트 네이버 시장 격전

그러나 전문가들은 2008년 검색전쟁은 블로그 검색에서 시작될 것이라는 데 이견이 없다.

이에따라 네이버와 다음이 블로그 검색과 관련 유사성 비교를 위한 필터링 기술 개발에 나서는 등 투자를 강화하고 있다. 뿐만 아니라 태그기반의 블로그 전문 검색 서비스 '올블로그', 관심도 랭킹 검색을 시도하고 있는 온네트의 '나루', 엔씨소프트의 '이올린', 인크루트의 '씨올' 등 독립 서비스업체들도 검색 전쟁에 뛰어들고 있다.

미국 역시 마찬가지. 구글에 대항하기 위해 테크밈(Techmeme), 위키아서치, 태그기반의 테크노라티, 집단지성으로 직접 검색결과를 사람이 보여주는 마할로(Mahalo)같은 신생 벤처들이 뛰고 있다.

박민우 이사는 "야후코리아가 지난 해 7월 26일 블로그 검색을 소리소문없이 오픈했고 다른 포털들도 승부수를 띄우는 가운데, 해외에서는 전문가가 직접 검색결과를 골라주는 마할로까지 등장했다"면서 "이런 서비스들이 당장 구글이나 네이버를 대체하지는 않겠지만 5%를 위한 포스트 네이버 시장은 있다"고 강조했다.

김현아기자 chaos@inews24.com