트위터 Follower / Following 변화

아래처럼 변화가 있어서 수집하기 좀 까다로워 졌네요.
조금더 생각해보면 URL 방식이 아니라 특정영역에서 URL을 추출해서 다음 페이지 URL을 가져오는 방식으로 개발하면 됩니다.



여러분은 혹시 최근 트위터 following, followers 페이지에 발생한 변화를 인지하셨나요? 저는 지난 토요일에서야 트위터 웹페이지가 작고 미묘하게 바뀌었다는 걸 발견했습니다. 무슨 얘긴지 궁금하신 분은 지금 바로 여러분 트위터 페이지 following, followers 목록을 펼쳐서 페이지를 바꿔나가 보세요. 그리고 웹브라우저 주소창에 적힌 주소의 맨 마지막 "page=..." 이 부분이 어떻게 변하는지 확인해보시기 바랍니다.

기존에 following, followers 목록에서 맨 아래 "Next", "Previous" 버튼을 누르면 웹주소 창에 나타나는 웹주소는 다음과 같은 모습이었습니다.

http://twitter.com/odlinuf/following(followers)?page=2

그런데 지금은 아래와 같이 바뀌었습니다.

http://twitter.com/following(followers)?page=1312670280780667734

이렇게 트위터 사용자 이름 다음에 "page="가 있고 숫자, 즉 일련번호가 나타나는 게 아니라 사용자 이름이 빠지고 무려 19자리 숫자로 바뀐 것입니다. 각 트위터러의 following, followers 목록 페이지마다 특정 ID를 부여한 셈이지요. 각 페이지는 20명을 포함하니까 여러분 followers 수가 1000이라면, followers 목록 페이지엔 모두 50개의 고유 ID가 있다는 겁니다. 이로써 페이지 ID를 모두 알기 전에는 과거 방법대로 웹주소 마지막에 직접 페이지 번호를 넣어 following, followers 목록을 마음대로 둘러볼 수 없게 됐습니다.

트위터 측이 굳이 왜 이런 변화를 주었을까요? 저는 주요한 이유로 대량/자동 follow 해주는 프로그램을 사용하는 스패머로부터 사용자를 보호하기 위함을 꼽겠습니다. 이런 자동 프로그램은 다른 사람의 following, followers 목록을 말 그대로 "긁어서" 한꺼번에 follow 하게 해줍니다. 이런 일이 어떻게 가능할지는 여러분도 짐작하시겠지요. 단순하게 "page=" 다음에 나오는 숫자만 하나씩 증가시키는 알고리즘일 겁니다. 그런데 트위터가 following, followers 페이지 번호를 ID 화 함으로써 이제 그 방식은 통하지 않게 되어버린 것이지요. 실제로 SEO 포럼 사이트를 가보면 이에 대해 불만 섞인 목소리가 터져나오고 있습니다.

일례로, 마케팅적 요소가 아주 강한 트위터 상엔 직업상 경쟁 관계에 있는 업체나 개인 사용자가 있습니다. 이들은 서로 following 목록이 비슷한데요, 바로 이런 자동 프로그램을 사용해 경쟁 업체가 follow 하는 사용자를 자신도 follow 함으로써 경쟁 업체를 견제하려는 까닭일 겁니다. 트위터가 이들에게 철퇴를 가한 것으로 보입니다만, 그 철퇴가 언제까지 영향을 미칠지는 두고 봐야겠죠. 아시다시피, 이런 것은 엎치락뒤치락하는 관계잖습니까.

following, followers 목록 페이지 주소가 복잡하게 변해서 일반 사용자로선 불편해졌지만, 이에 대해 트위터에 이의를 제기하고 싶은 생각은 없습니다. 오히려 작지만 이런 보안 장치를 마련해 선의의 사용자를 배려한 트위터를 칭찬해주고 싶군요. 여러분 생각은 어떠신가요?

UPDATE(2009.9.7, 오후 3:18) 다음은 거북거북 님이 댓글난에 남기신 의견입니다.

"원래 follower수가 많은 유저들의 follower들을 브라우징할 때 버그가 있었습니다. 그 차원에서의 수정인 것 같네요. 어차피 API가 다 오픈되어 있는 상황에서는 API로 긁는 것이 크롤러를 만드는 것보다 훨씬 쉽고 빠르고 편합니다. 그리고 현재도 following/follower 목록을 가져오는 API는 잘 동작하고 있습니다."