이 크롤러는 사이트 소유자가 sotomuke.com에서 다국어 미리보기를 요청할 때 해당 사이트의 페이지를 최대 100페이지까지 1회 수집하며, 이후 공개된 사이트에 대해서는 매주 수집합니다. 본 크롤러는 robots.txt Disallow 규칙과 사이트맵을 준수하고, 동일 출처의 링크만 따라가며, 한 번에 최대 4페이지까지만 수집합니다. 문의: hello@sotomuke.com.
robots.txt