사이트 긁어오기로 할 수 있는 6가지 놀라운 일

사이트 파싱이라는 단어보다는 사이트 긁어오기라는 단어가 한국 사람에게는 혀에 감긴다. 사이트 긁어오기라는 단어가 주는 어감은 좀 그렇긴 하지만.. 사이트 파싱은 여러가지 긍정적인 활용이 가능하다.  사이트 긁어오기는 단순 노가다 반복작업을 대신해주면서 사람에게 시간을 벌어준다. 

예전부터 달을파는아이 블로그에 사이트 긁어오기, 사이트 파싱에 관한 글들을 올렸다. 생각지 못하게  작업의뢰가 몇번 들어왔다. 작업의뢰는 내가 생각했던것보다 훨씬 다양했다. 생각지도 못한 곳에서 쓰일 수도 있음을 알았다. 몇일의 프로그램작업으로 한달이상 해야하는 노가다를 대신할 수도 있었고, 매일 매일 지겹게 반복되던 단순작업들이 사라지기도 했다. 

기술적인 이야기는 놔두고, 활용사례를 소개하고자 한다.혹시나 매일 반복되는 노가다나 막막하기만 했던 사람들에게는 힌트가 될지도 모른다.  물론 사이트 이름과 구체적인 내용은 블라인드다. 

#1 사이트 긁어오기로 쇼핑몰 상품 채우기

쇼핑몰이 하루에도 수십개씩 생기고 사라진다. 쇼핑몰이라는게 구축하기가 쉬워보이지만, 해야할일이 엄청나게 많다. 그 중에서 귀찮은일중에 하나가 상품채우기다. 보통은 운영자가 사진을 찍고, 내용을 정성스럽게 적어서 채워 넣는다. 
 

의뢰자중에 한명이 해외사이트에서 상품을 수입해서 판매하는 쇼핑몰을 기획하고 있었다. 일종의 도매사이트를 끼고 쇼핑몰을 운영하는 형태인데, 도매사이트가 미국사이트라는 점이 다르다. 문제는 이 도매사이트가 수시로 바뀐다는 점이다. 재고가 항상 넘쳐나는게 아니다. 국내에서 주문을 받고 , 미국으로 오더를 내리면 상품이 없을때가 종종있다. 아주 곤란한경우다. 제품 자체가 사라지거나, 새 상품이 나왔는데 알아차리지 못하는 경우도 허다하다. 미국 사이트의 상품수가 워낙 방대해서 매일 매일 모니터링 하기가 여간 어려운게 아니다. 

그래서 나에게 연락이 왔다. 이 미국사이트를 긁어서, 재고수와 새 상품을 알려 줄수 없는가? 매일 아침 직원 3명이서 사이트 전체를 둘러본다고 한다. 아침 시간을 전부 여기에 쏟아 붓기 때문에 여간 손해가 아니라고 한다. 그렇다고 안할수도 없는 일이고.. 

사이트 긁어오기를 이용해서 이 쇼핑몰을 매일 새벽에 긁는다. 상품리스트들을 모두 불어와서, 기존에 있는 상품인지 체크하고 .. 재고가 얼마나 있는지 업데이트 한다. 상품수가 1000여개라면, 하루 1000여번의 클릭와 웹페이지 보기가 사라졌다. 

# 2. 쇼핑몰 이전 & 복사 

쇼핑몰 운영하는 사람중에는, 분양을 하는 경우가 있다. 장사가 잘되는 사이트지만, 디자인만 달리 해서 오픈한다. 고객이 보기에는 운영자가 다른 두,세개의 사이트지만, 운영자는 한명이다. 세개의 사이트에서 주문이 들어오고, 운영자는 한번에 보내준다. 이렇게 하는 이유에 대한 설명은 뒤로하고, 구축의 애로점이 참으로 많다. 특히나 쇼핑몰 플랫폼이 달라지거나, 쇼핑몰 솔루션자체에 백업기능이 없는 경우 나감하기 그지 없다. 상품수가 몇개 안된다면 상관없지만, 100개,1000개이상되면 노가다가 장난아니다. 노가다를 해도 될만큼 효과를 보면 좋겟지만, 장사라는게 항상 효과가 있는건 아니다. 

이때, 사이트 긁어오기가 쓰였다. 자기 쇼핑몰의 상품을 긁어다가 또 다른 자기 쇼핑몰로 상품을 옮긴다. 물론, 자동으로 이전하게 할수도 있다. 솔루션에 blogapi가 지원되거나, 자체 솔루션을 쓸경우다. 중간에 자동으로 올리는 프로그램을 넣어두면, 긁어다가 자동으로 올릴수도 있다. 하지만, 보통 쇼핑몰 솔류션은 그렇지 않다. 일단, 긁어온다음, 엑셀의 형태로 변환하고 , 쇼핑몰 관리자 모드에서 대량 업로드를 한다. 

# 3. 고객 정보를 수집

이 부분은 상당히 민감하다. 이메일수집이 정보통신법에 위반되기 때문이다. 하지만, 이 부분을 증명하기가 여간 어려운게 아니다. 수집 플로그램의 존재만 숨긴다면, 사이트에서 직접 일일이 수작업으로 복사 붙여넣기를 했다고 하면 증거가 없다. 이 수집된 정보를 대량스팸이나 다른 악의적인 용도로 사용한다면 이야기는 달라지지만,  정상적인 영업을 위한 용도로 활용한다면 문제는 없지 않을까?  수집할수 있다는 기술적인 가능성과 그 수집된 정보를 써먹는건 분명히 다른 문제다. 

자기 고객들이 많이 모이거나, 잠재고객들이 있는 사이트에서 원하는 정보를 긁을수가 있다. 의뢰로 공개된 개인정보는 넘쳐난다. 구글핵을 하지 않더라도, 구인구직사이트, 쇼핑몰, 물건매매 사이트등등. 이 모든 자료들을 수집하고 정리할수 있다. 

 

#4. 내 수익이 얼마일까?

매번 확인해야 하지만, 상당히 귀찮은 일들이 있다. 개인적으로는 애드센스나 제휴사이트들의 수익확인이 그렇다. 애드센스만 운영한다면, 애드센스만 들락거리면 된다.사이트나 블로그를 운영하다보면 애드센스만 다는게 아니다. 보통 2,3개 많게는 수십개의 파트너사이트들으 함께 운영한다. 이 모든 사이트의 수익을 매번 로그인해서 확인한다는건 돈버는 재미를 반감시킨다. 

사이트긁어오기를 하면, 이 모든 사이트들의 수익을 한번에 가져올수 있다. 가져온 정보를 sms나 이메일, 구글톡크같은 서비스와 연결할수도 있다 그러면, 일일이 페이지를 확인하지 않아도, 정해진 시간에 내 수익을 한눈에 받아 볼수도 있다. 

#5. 로또번호 가져오기 

로또번호를 가져오는 강좌는 예전에 했었다. 중요한건 로또를 이야기하고자 하는게 아니라 로또처럼 매주 확인해야하는 무언가를 가져올수 있다는 것이다. 자기가 원하는 방식으로 알림을 받을수 있다. #6번에 말할것처럼 rss로 만들어서, rss 리더로 읽을수도 있다. sms,이메일 원하는 방식으로 매주 로또 번호를 받아 볼수 있다. 

#6. rss가 없는 사이트의 rss 만들기 

블로그에는 기본적으로 rss 가 제공된다. rss 도 제공안되면서, 블로그 툴인척 했던 네이버가 있긴 있었지만.. 지금은 거의 모든 블로그툴들이 rss 를 제공한다. 블로그뿐만 아니라 제로보드xe도 기본적으로 rss를 제공한다. 

툴제공과 무관하게, rss 공개여부는 블로그나 사이트 주인의 권한이다. 주인장 맘대로다. 아예 닫아 놓을수도 있고, 글의 앞대가리만 찔끔 내 보낼수도 있다. 이게 참 받아보는 입장에서는 답답할 노릇이다.  이때 사이트 긁어오기를 이용하면 , 글을 rss로 만들수 있다. rss형태로 만들고 나며, 편하게 rss리더로 받아 본다. 

물론, 주인장이 원치않는 rss를 억지로 만들어서 혼자 받아보는것과.. 그 만들어진 rss를 공개해버리는것과는 또 다른 문제다. 

기계의 할일은 기계에게 

모든 사이트들이 보는 웹페이지뿐만 아니라, 정보제공용 xml 혹은 다른형태의 파일을 제공하면 구지 사이트 긁어오기 같은 일은 하지 않아도 된다. 요즘 만들어지는 사이트들은 기본적으로 rss가 제공되고 있어, 그 나마 낫다. 하지만, 이미 만들어진 혹은 적절한 정보제공이 없을 경우가 많다. 원하는 정보만 가져올수 있게 하는 사이트 긁어오기가 여전히 필요하다. 

기계든 프로그램이든 사람 편하게 해야한다. 사람이 해야할 지루하고 반복적인 일들은 기계에 맞겨야한다. 복사 붙이기 복사 붙이기 복사 붙이기.. 먼가 하루종일 “내가 왜 이짓을하고있지?” 라는 생각이 드는 작업을 하고 있다면.. “혹시 기계에게 맞길수 있지 않을까?” 고 떠올려보자. 

한달 걸릴일이 2시간만에 끝날수도 있으니까.. 

사이트 파싱에 궁금한점이나, 의뢰는  로 주세요 ^^