python爬虫

akshare获取reits数据，搞笑，数据源测试过没有呀，没有集思录会员还没获取？

李魔佛发表了文章 • 0 个评论 • 177 次浏览 • 2022-11-07 21:52 • 来自相关话题

描述: 集思录-实时数据-REITs-A股 REITs

限量: 单次返回所有 REITs 的基本信息数据

估计是旧的，以前游客就可以获取到数据的了。现在就不行了。

然后另外一个获取东财的函数，获取了20个就完事了。
结果人间现在超过20家，获取的数据都不全的。

akshare，用的还是有点糟心。长期来看，还是自己写靠谱，有些坑，你第一次用就可以发现，但是有些坑，却是埋在那里，像个定时炸弹。

akshare的代码：

查看全部

描述: 集思录-实时数据-REITs-A股 REITs

限量: 单次返回所有 REITs 的基本信息数据

估计是旧的，以前游客就可以获取到数据的了。现在就不行了。

然后另外一个获取东财的函数，获取了20个就完事了。
结果人间现在超过20家，获取的数据都不全的。

akshare，用的还是有点糟心。长期来看，还是自己写靠谱，有些坑，你第一次用就可以发现，但是有些坑，却是埋在那里，像个定时炸弹。

akshare的代码：

星球文章获取所有文章爬虫

李魔佛发表了文章 • 0 个评论 • 571 次浏览 • 2022-06-03 13:49 • 来自相关话题

挺讽刺的，星球自身没有目录结构，所以浏览文章，只能通过时间线，一些一年前的文章，基本就没有会看到，而且，星球的搜索功能也是一堆bug，处于搜不到的状态。

群里没有人没有吐槽过这个搜索功能的。

所以只好自己写个程序把自己的文章抓下来，作为文章目录：

生成的markdown文件

每次只需要运行python main.py 就可以拿到最新的星球文章链接了。

需要源码可以在公众号联系~
查看全部

挺讽刺的，星球自身没有目录结构，所以浏览文章，只能通过时间线，一些一年前的文章，基本就没有会看到，而且，星球的搜索功能也是一堆bug，处于搜不到的状态。

群里没有人没有吐槽过这个搜索功能的。

所以只好自己写个程序把自己的文章抓下来，作为文章目录：

生成的markdown文件

每次只需要运行python main.py 就可以拿到最新的星球文章链接了。

需要源码可以在公众号联系~

知识星球获取文章链接与数据

李魔佛发表了文章 • 0 个评论 • 700 次浏览 • 2022-03-21 20:15 • 来自相关话题

既然官方不提供这个功能，只能自己使用爬虫手段获取了，额。

想用python爬虫批量下载数据，下载下来的数据是excel表格形式，但是源码下载的链接如下,请问这样可以爬吗？

贡献

低调的哥哥回复了问题 • 2 人关注 • 1 个回复 • 1125 次浏览 • 2021-11-26 13:20 • 来自相关话题

为什么登录成功但是爬取不到其他数据

贡献

低调的哥哥回复了问题 • 2 人关注 • 1 个回复 • 1249 次浏览 • 2021-08-04 01:17 • 来自相关话题

韦世东 python3网络爬虫宝典勘误

李魔佛发表了文章 • 0 个评论 • 1294 次浏览 • 2021-05-21 20:06 • 来自相关话题

P231:
1. 时间差是正数才是过期
2. 获取权限那里，permission = args[0].permission
不能后面再用get

P222：
写入mongodb后，原来的数据会被加入一个_id，值为OjectId，该值是无法被json dumps为string，
所以需要手工把ObjectId 转为str，或者del message['_id'] 将这个键去除。

查看全部

P231:
1. 时间差是正数才是过期
2. 获取权限那里，permission = args[0].permission
不能后面再用get

P222：
写入mongodb后，原来的数据会被加入一个_id，值为OjectId，该值是无法被json dumps为string，
所以需要手工把ObjectId 转为str，或者del message['_id'] 将这个键去除。

pyautogui无法再远程桌面最小化或者断线后进行截图

李魔佛发表了文章 • 0 个评论 • 1687 次浏览 • 2021-04-29 17:19 • 来自相关话题

搜索了一圈，似乎无解。
知道的朋友可以私信下我。

国外的论坛也找不到答案，只能一直开着屏幕了。。。。

pyppeteer 在AppData下的dev_profile 生成大量文件

李魔佛发表了文章 • 0 个评论 • 1521 次浏览 • 2021-04-28 12:18 • 来自相关话题

具体路径在：
C:\Users\xda\AppData\Local\pyppeteer\pyppeteer\.dev_profile
运行次数多了，这个目录下积累了几十个G的文件。

因为每次启动pyppeteer后，如果不指定userData目录，会在dev_profile生成一个新的userData目录，每次大概30MB左右的打小，所以启动的次数，越多，这个文件夹的体积就越大。
其实可以直接删除，然后启动pyppeteer是加上一个参数：userDataDir
browser = await pyppeteer.launch(
{'headless': False,
'userDataDir': UserDataDir,
'defaultViewport': {'width': 1800, 'height': 1000},
# 'enable-automation':False,
# 'ignoreDefaultArgs':['--enable-automation'],
'ignoreDefaultArgs':True,
}userDataDir='D:\Temp'
这样每次pyppeteer都会用同一个配置文件，并且还可以把cookies，session文件存在同一个地方，如果登录过的网站，下次可以直接登录，不需要再次输入账号密码。

查看全部

具体路径在：
C:\Users\xda\AppData\Local\pyppeteer\pyppeteer\.dev_profile
运行次数多了，这个目录下积累了几十个G的文件。

因为每次启动pyppeteer后，如果不指定userData目录，会在dev_profile生成一个新的userData目录，每次大概30MB左右的打小，所以启动的次数，越多，这个文件夹的体积就越大。
其实可以直接删除，然后启动pyppeteer是加上一个参数：userDataDir

    browser = await pyppeteer.launch(

        {'headless': False,

         'userDataDir': UserDataDir,

         'defaultViewport': {'width': 1800, 'height': 1000},

         # 'enable-automation':False,

         # 'ignoreDefaultArgs':['--enable-automation'],

         'ignoreDefaultArgs':True,

         }

userDataDir='D:\Temp'
这样每次pyppeteer都会用同一个配置文件，并且还可以把cookies，session文件存在同一个地方，如果登录过的网站，下次可以直接登录，不需要再次输入账号密码。

pymongo update_one/update_many 返回更新数据的数目

李魔佛发表了文章 • 0 个评论 • 3150 次浏览 • 2021-04-21 18:54 • 来自相关话题

比如有以下的python语句
ret = self.doc.update_one({'announcementId':announcementId},{'$setOnInsert':item},upsert=True)

作用是如果某个id不存在时，则把数据插入文档，如果存在，则不进行任何操作。

那么ret是操作的返回结果。
我们可以对返回数据进行核对

ret.matched_count, ret.modified_count前者是匹配到文档的数目，而后者是修改了文档的个数。

查看全部

比如有以下的python语句

ret = self.doc.update_one({'announcementId':announcementId},{'$setOnInsert':item},upsert=True)

作用是如果某个id不存在时，则把数据插入文档，如果存在，则不进行任何操作。

那么ret是操作的返回结果。
我们可以对返回数据进行核对

ret.matched_count, ret.modified_count

前者是匹配到文档的数目，而后者是修改了文档的个数。

pyppeteer-pdf not support latest version of pypeteer

李魔佛发表了文章 • 0 个评论 • 1277 次浏览 • 2021-04-04 18:23 • 来自相关话题

只能用0.0.25版本的pypeteer。
只好下载一个低版本的chrouium放到本地。

或者使用另一个库
https://github.com/shivanshs9/pdfgen-python

pyppeteer禁用自动化提示栏 --enable-automation参数关闭

李魔佛发表了文章 • 0 个评论 • 2892 次浏览 • 2021-04-04 14:49 • 来自相关话题

在启动的时候加入一个参数即可： browser = await pyppeteer.launch(
{'headless': False,
'userDataDir': UserDataDir,
'defaultViewport': {'width': 1800, 'height': 1000},
# 'enable-automation':False,
'ignoreDefaultArgs':['--enable-automation'],
}
)
忽略默认参数：
'ignoreDefaultArgs':['--enable-automation'],
即可，
如果需要去除更多的特征，在列表里面加入更多即可。
如果全部不要，那么就把它设置为True即可。

查看全部

在启动的时候加入一个参数即可：

    browser = await pyppeteer.launch(

        {'headless': False,

         'userDataDir': UserDataDir,

         'defaultViewport': {'width': 1800, 'height': 1000},

         # 'enable-automation':False,

         'ignoreDefaultArgs':['--enable-automation'],

         }

    )

忽略默认参数：
'ignoreDefaultArgs':['--enable-automation'],
即可，
如果需要去除更多的特征，在列表里面加入更多即可。
如果全部不要，那么就把它设置为True即可。

pyppeteer设置浏览器大小

李魔佛发表了文章 • 0 个评论 • 1867 次浏览 • 2021-04-04 12:06 • 来自相关话题

在初始化时加入 defaultViewport字典值即可：
browser = await pyppeteer.launch(
{'headless': False,
'userDataDir': UserDataDir,
'defaultViewport': {'width': 1800, 'height': 1000}
}
)
更多参数可以查看pyppeteer的源码。
self.handleSIGINT = options.get('handleSIGINT', True)
self.handleSIGTERM = options.get('handleSIGTERM', True)
self.handleSIGHUP = options.get('handleSIGHUP', True)
self.ignoreHTTPSErrors = options.get('ignoreHTTPSErrors', False)
self.defaultViewport = options.get('defaultViewport', {'width': 800, 'height': 600}) # noqa: E501
self.slowMo = options.get('slowMo', 0)
self.timeout = options.get('timeout', 30000)
self.autoClose = options.get('autoClose', True)

查看全部

在初始化时加入 defaultViewport字典值即可：

    browser = await pyppeteer.launch(

        {'headless': False,

         'userDataDir': UserDataDir,

         'defaultViewport': {'width': 1800, 'height': 1000}

         }

    )

更多参数可以查看pyppeteer的源码。

        self.handleSIGINT = options.get('handleSIGINT', True)

        self.handleSIGTERM = options.get('handleSIGTERM', True)

        self.handleSIGHUP = options.get('handleSIGHUP', True)

        self.ignoreHTTPSErrors = options.get('ignoreHTTPSErrors', False)

        self.defaultViewport = options.get('defaultViewport', {'width': 800, 'height': 600})  # noqa: E501

        self.slowMo = options.get('slowMo', 0)

        self.timeout = options.get('timeout', 30000)

        self.autoClose = options.get('autoClose', True)

pyppeteer下载chromedriver失败的解决办法

李魔佛发表了文章 • 0 个评论 • 1764 次浏览 • 2021-04-01 00:05 • 来自相关话题

因为网址变了！
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443): Max retries exceeded with url: /chromium-browser-snapshots/Win_
x64/588429/chrome-win32.zip (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x00000000037D3880>: Failed to establish a new connect
ion: [Errno 11004] getaddrinfo failed'))
用浏览器看了，发现根本打不开。
然后谷歌了一下它的镜像，实际链接为：
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip

所以，哎，这个库真的有点烂。
直接下载上面的链接，然后解压到本地路径，然后在设置一个环境变量指向这个目录即可。
查看全部

因为网址变了！

urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443): Max retries exceeded with url: /chromium-browser-snapshots/Win_

x64/588429/chrome-win32.zip (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x00000000037D3880>: Failed to establish a new connect

ion: [Errno 11004] getaddrinfo failed'))

用浏览器看了，发现根本打不开。
然后谷歌了一下它的镜像，实际链接为：
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip

所以，哎，这个库真的有点烂。
直接下载上面的链接，然后解压到本地路径，然后在设置一个环境变量指向这个目录即可。

requests使用断点续传时注意要加stream=True,不然你的硬盘可能会爆掉

李魔佛发表了文章 • 0 个评论 • 2980 次浏览 • 2021-03-14 00:56 • 来自相关话题

res = requests.get(url, stream=True, headers=headers, verify=False)
with open(dst, "ab") as f:
dp = Down_progress(file_size, first_size, dst)
dp.start()
chunk_size = 1024
for chunk in res.iter_content(chunk_size = chunk_size):
if chunk:
f.write(chunk)
dp.update(chunk_size)
如果不加stream=True，那么你的硬盘很可能就不停被写入，文件会变得无比巨大，最后磁盘空间不够死机。
不要问我为什么知道。查看全部

res = requests.get(url, stream=True, headers=headers, verify=False)

        with open(dst, "ab") as f:

            dp = Down_progress(file_size, first_size, dst)

            dp.start()

            chunk_size = 1024

            for chunk in res.iter_content(chunk_size = chunk_size):

                if chunk:

                    f.write(chunk)

                    dp.update(chunk_size)

如果不加stream=True，那么你的硬盘很可能就不停被写入，文件会变得无比巨大，最后磁盘空间不够死机。
不要问我为什么知道。

不用一行代码下载雪球嘉年华视频

李魔佛发表了文章 • 0 个评论 • 2154 次浏览 • 2020-12-09 14:43 • 来自相关话题

最近一年一度的雪球嘉年华在深圳举行，曾经去过一次，后来觉得里面都是卖基金，卖私募，后面就没有再去了。
听说今年着重分享一些观念，抱着好奇心，就打算下载几部来看看。

雪球网站很简单，只要找到下载链接就可以下载了。

第一步。打开一个视频播放的页面，比如大金链的

11737544 粉丝主会场 | 巅峰对谈：金牛双子星主动VS量化

https://xueqiu.com/video/5285890810945319765

右键，查看源码，然后在源码里面试着查找 mp4，flv，webp等流媒体字样。

在这里找到一个了：

但是这个视频下载地址有很多转义字符：http:\u002F\u002F1256122120.vod2.myqcloud.com\u002F53ad1740vodtranscq1256122120\u002F17ebe5145285890810945319765\u002Fv.f20.mp4
直接在浏览器是无法直接打开的。
可以直接替换\u002f 为一个斜杠 \ 就可以了。
如果嫌麻烦，可以在浏览器里面，按下F12，在console页面里面输入上面的地址，前后加个双引号，然后回车，就可以得到完整的地址了。

原创文章，转载请注明出处

http://30daydo.com/article/44119
查看全部

最近一年一度的雪球嘉年华在深圳举行，曾经去过一次，后来觉得里面都是卖基金，卖私募，后面就没有再去了。
听说今年着重分享一些观念，抱着好奇心，就打算下载几部来看看。

雪球网站很简单，只要找到下载链接就可以下载了。

第一步。打开一个视频播放的页面，比如大金链的

11737544 粉丝主会场 | 巅峰对谈：金牛双子星主动VS量化

https://xueqiu.com/video/5285890810945319765

右键，查看源码，然后在源码里面试着查找 mp4，flv，webp等流媒体字样。

在这里找到一个了：

但是这个视频下载地址有很多转义字符：

http:\u002F\u002F1256122120.vod2.myqcloud.com\u002F53ad1740vodtranscq1256122120\u002F17ebe5145285890810945319765\u002Fv.f20.mp4

直接在浏览器是无法直接打开的。
可以直接替换\u002f 为一个斜杠 \ 就可以了。
如果嫌麻烦，可以在浏览器里面，按下F12，在console页面里面输入上面的地址，前后加个双引号，然后回车，就可以得到完整的地址了。

原创文章，转载请注明出处

http://30daydo.com/article/44119

通知设置新通知