Nutch crawling

http://www.joinc.co.kr/modules/moniwiki/wiki.php/JCvs/Search/Document/nutch/Crawling

문제 발생 및 해결 ¶

nutch 크롤러가 상세한 메시지 없이 계속 NullPointerException을 냈음. 찾아본 결과 기본 설정에 추가적으로 필요한 내용이 누락됨.

dormael@dormael-desktop:~/nutch-test/nutch-0.8.1$ vi conf/nutch-site.xml

프로퍼티들 중에 크롤러의 정보를 넣어준 후에 문제없이 실행됨. 기본값이 비어 있어서 Exception이 발생된 것으로 보임.

<name>http.agent.name</name>
<value>My Nutch Test</value>

<name>http.agent.description</name>
<value>Test</value>

<name>http.agent.url</name>
<value>no</value>

<name>http.agent.email</name>
<value>no</value>