通用网站内容爬虫抓取工具,可批量抓取任意站点的小说、论坛内容等并保存为TXT文档
< 脚本怠惰小说下载器的反馈
功能建议[之前有人提过了估计]:建议增加延迟设置,有的网站对单位时间内发起的访问次数有限制,如果太快,会BAN来源IP。这种情况下需要设置每次访问前进行延迟。同理,此时如果开启多线程模式,会导致直接被BAN。
可以用#####切一下代理
登录以发表回复。
功能建议[之前有人提过了估计]:建议增加延迟设置,有的网站对单位时间内发起的访问次数有限制,如果太快,会BAN来源IP。这种情况下需要设置每次访问前进行延迟。同理,此时如果开启多线程模式,会导致直接被BAN。