批量获取Grequests返回内容
Grequests是一个异步requests的封装库。
如何批量获取Grequests返回内容?
注意,上面的写法是错误的!!!!!!
grequests.get只能接受url!!! 不能放入一个函数。
正确的写法:
具体的对response内容操作放入到market_watch函数中。
如何批量获取Grequests返回内容?
import grequests
import requests
import bs4
def simple_request(url):
page = requests.get(url)
return page
urls = [
'http://www.heroku.com',
'http://python-tablib.org',
'http://httpbin.org',
'http://python-requests.org',
'http://kennethreitz.com'
]
rs = [grequests.get(simple_request(u)) for u in urls]
grequests.map(rs)
注意,上面的写法是错误的!!!!!!
grequests.get只能接受url!!! 不能放入一个函数。
正确的写法:
rs = (grequests.get(u) for u in urls)
requests = grequests.map(rs)
for response in requests:
market_watch(response.content)
具体的对response内容操作放入到market_watch函数中。