You can change the type of crawler engine and set the maximum number of simultaneous connections and threads. 프로그램이 웹사이트를 크롤링하는 방법을 지정하고 사이트맵을 특정 영역 또는 디렉터리로 제한할 수 있습니다. If you have a large Web site, its recommended that you do some fine tuning.