当网站所有者在 sotomuke.com 申请多语言预览时,该爬虫会对网站进行一次抓取,最多100个页面;对于已发布的网站,则每周抓取一次。它遵守 robots.txt Disallow 规则和站点地图,仅跟踪同源链接,且每次最多同时抓取四个页面。如有疑问,请联系:hello@sotomuke.com。
robots.txt