我不想同时爬行并被阻止。我想每秒发送一个请求。
DOWNLOAD_DELAY
默认： 0
0
从同一网站下载连续页面之前，下载程序应等待的时间（以秒为单位）。这可以用来限制爬网速度，以避免对服务器造成太大的冲击。
DOWNLOAD_DELAY = 0.25 # 250 ms of delay
