scrapy命令行执行传递多个参数给spider 动态传参

有时候在命令行执行scrapy，比如scrapy crawl spiderXXXX，如果我想要传递一个自定义的参数进去给scrapy，比如我想传递一个爬取的页码数目，我要每次爬取10页。
 
那么需要在spider中定义一个构造函数
 

    def __init__(self,page=None,*args, **kwargs):

        super(Gaode,self).__init__(*args, **kwargs)

        self.page=page

        

        

    def start_requests(self):

        XXXXXX 调用self.page 即可

        yield Request(XXXX)

 
然后在启动scrapy的时候赋予参数的值：
 
scrapy crawl spider -a page=10
 
就可以动态传入参数
 
原创文章
转载请注明出处：http://30daydo.com/article/436