[读后笔记] python网络爬虫实战 （李松涛）
用了大概一个早上的时间，就把这本书看完了。
前面4章是基础的python知识，有基础的同学可以略过。
scrapy爬虫部分，用了实例给大家说明scrapy的用法，不过如果之前没用过scrapy的话，需要慢慢上机敲打代码。
其实书中的例子都是很简单的例子，基本没什么反爬的限制，书中一句话说的非常赞同，用scrapy写爬虫，就是做填空题，而用urllib2写爬虫，就是作文题，可以自由发挥。
书中没有用更为方便的requests库。 内容搜索用的最多的是beatifulsoup， 对于xpah或者lxml介绍的比较少。 因为scrapy自带的response就是可以直接用xpath，更为方便。
对于scrapy的中间和pipeline的使用了一个例子，也是比较简单的例子。
书中没有对验证码，分布式等流行的反爬进行讲解，应该适合爬虫入门的同学去看吧。
书中一点很好的就是代码都非常规范，而且即使是写作文的使用urllib2，也有意模仿scrapy的框架去写， 需要抓取的数据 独立一个类，类似于scrapy的item，数据处理用的也是叫pipleline的方法。
这样写的好处就是， 每个模块的功能都一目了然，看完第一个例子的类和函数定义，后面的例子都是大同小异，可以加快读者的阅读速度，非常赞。（这一点以后自己要学习，增加代码的可复用性）
很多页面url现在已经过期了，再次运行作者的源码会返回很多404的结果。
失效的项目：
金逸影城
天气预报
获取代理：http://proxy360.com
本书的一些错误的地方：
1. 获取金逸影城的spider中，所有关于movie的拼写都拼错为moive了。这个属于英语错误。
2. 在testProxy.py 代码中， 由于在同一个类中，一直在产生线程，最后导致线程过多，不能再产生线程。程序会中途退出。
File "C:\Python27\lib\threading.py", line 736, in start
_start_new_thread(self.__bootstrap, ())
thread.error: can't start new thread
可以修改成独立函数的形式，而不是类函数。
待续。 收起阅读 »
shield tablet 英伟达神盾平板变砖修复
因为最近经常弹出一个OTA的更新包，以前一直都是对这些更新不感冒，通常都是直接忽略的。 但是看到这一个版本好像修复了不少的bugs，想着升级一次把所有的bug修复了也好。
结果就坑爹了 （因为是因为系统是从安卓5.0直接OTA到7.0，系统的一些分区信息作了比较大的改动，导致启动分区数据丢失）。
重启后一直卡在启动logo，无法再进入系统。 按着音量+和电源键， 可以进入到BootLoader模式，然后选择recovery模式，等待进入recovery模式，结果看到的是一个躺着的安卓机器人。 Org！
然后准备尝试用fastboot的方式重新刷入一个新的系统。
ROM选择英伟达官方的：https://developer.nvidia.com/gameworksdownload#?search=SHIELD%20Tablet%20WiFi%20Recovery%20OS%20Image&tx=$additional,shield
然后安装官方教程进行刷机。以下步骤：
1. 按着音量上键和电源键进入BootLoader，如果你的系统是第一次进入BootLoader，那么第一次需要解锁BootLoader。
连接平板到电脑，然后安装fastboot的驱动， 下载连接 https://developer.nvidia.com/shield-open-source
运行命令 fastboot devices
如果驱动成功的话，会显示你的平板序列号。然后才能进行以下的操作。
fastboot oem unlock
解锁oem锁，需要你在平板上再次按下电源键 进行确认。 几秒钟后，平板的BootLoader就会被解锁。
2. 然后按照ROM的说明文件readme，进行刷机：
3. 刷完后，使用fastboot reboot 进行重启设备。
设备重启后第一次需要大概几分钟的时间进行初始化设置。
经过漫长的等待后，居然发现系统还是卡在那个nvidia的logo那里。
感觉自己应该是刷错ROM了，因为官方那里有WIFI版，有LTE版，有美版和欧版，而且也分Shield Tablet K1 和非K1的， 我应该用了K1的rom，所以失败了。因为我的机子应该是非K1的，虽然二者硬件没什么大的区别。
然后重新按照上面的步骤，重新刷入非K1的ROM。 重启后，发现问题依然没有解决。
没办法，只能上国外的论坛去找办法。
尝试刷入第三方的recovery，用recovery来恢复系统。
首先，下载一个第三方的recovery，TWRP image。 具体链接百度一下就可以了。
下载后刷入到平板 ： fastboot flash recovery xxxxx.img
xxxx.img就是下载的recovery文件名。
刷好后再次进入BootLoader，选择recovery mode，可以看到很多的选项，这个时候看到了希望了。
不过进入到TWRP recovery后，也无法看到系统的内置存储。不过里面有一个adb sideload的功能。
这个时候连上USB线，在电脑端输入 adb sideload xxxx.zip， zip为你的OTA的单独文件包，这里你可以去下载一个第三方的ROM文件，不过我试过之后，发现居然可以开机了，但是开完机会有一个加密的密码，随便输入一个密码，居然能够进去，然后需要重启进行恢复出厂设置。 等待重启完成之后，却又见到这个加密的选项。看来没有进行出厂设置成功。
重试几次，发现问题依然存在。
那么只能重新尝试刷入官方的rom，但是不刷官方的recovery rom。
然后重启，发现能够开机并且初始化，也没有那个加密的菜单了。
问题得到解决。 收起阅读 »
结果就坑爹了 （因为是因为系统是从安卓5.0直接OTA到7.0，系统的一些分区信息作了比较大的改动，导致启动分区数据丢失）。
重启后一直卡在启动logo，无法再进入系统。 按着音量+和电源键， 可以进入到BootLoader模式，然后选择recovery模式，等待进入recovery模式，结果看到的是一个躺着的安卓机器人。 Org！
然后准备尝试用fastboot的方式重新刷入一个新的系统。
ROM选择英伟达官方的：https://developer.nvidia.com/gameworksdownload#?search=SHIELD%20Tablet%20WiFi%20Recovery%20OS%20Image&tx=$additional,shield
然后安装官方教程进行刷机。以下步骤：
1. 按着音量上键和电源键进入BootLoader，如果你的系统是第一次进入BootLoader，那么第一次需要解锁BootLoader。
连接平板到电脑，然后安装fastboot的驱动， 下载连接 https://developer.nvidia.com/shield-open-source
运行命令 fastboot devices
如果驱动成功的话，会显示你的平板序列号。然后才能进行以下的操作。
fastboot oem unlock
解锁oem锁，需要你在平板上再次按下电源键 进行确认。 几秒钟后，平板的BootLoader就会被解锁。
2. 然后按照ROM的说明文件readme，进行刷机：
fastboot flash recovery recovery.img
fastboot flash boot boot.img
fastboot flash system system.img
fastboot erase userdata
fastboot flash staging blob
3. 刷完后，使用fastboot reboot 进行重启设备。
设备重启后第一次需要大概几分钟的时间进行初始化设置。
经过漫长的等待后，居然发现系统还是卡在那个nvidia的logo那里。
感觉自己应该是刷错ROM了，因为官方那里有WIFI版，有LTE版，有美版和欧版，而且也分Shield Tablet K1 和非K1的， 我应该用了K1的rom，所以失败了。因为我的机子应该是非K1的，虽然二者硬件没什么大的区别。
然后重新按照上面的步骤，重新刷入非K1的ROM。 重启后，发现问题依然没有解决。
没办法，只能上国外的论坛去找办法。
尝试刷入第三方的recovery，用recovery来恢复系统。
首先，下载一个第三方的recovery，TWRP image。 具体链接百度一下就可以了。
下载后刷入到平板 ： fastboot flash recovery xxxxx.img
xxxx.img就是下载的recovery文件名。
刷好后再次进入BootLoader，选择recovery mode，可以看到很多的选项，这个时候看到了希望了。
不过进入到TWRP recovery后，也无法看到系统的内置存储。不过里面有一个adb sideload的功能。
这个时候连上USB线，在电脑端输入 adb sideload xxxx.zip， zip为你的OTA的单独文件包，这里你可以去下载一个第三方的ROM文件，不过我试过之后，发现居然可以开机了，但是开完机会有一个加密的密码，随便输入一个密码，居然能够进去，然后需要重启进行恢复出厂设置。 等待重启完成之后，却又见到这个加密的选项。看来没有进行出厂设置成功。
重试几次，发现问题依然存在。
那么只能重新尝试刷入官方的rom，但是不刷官方的recovery rom。
fastboot flash boot boot.img
fastboot flash system system.img
fastboot erase userdata
然后重启，发现能够开机并且初始化，也没有那个加密的菜单了。
问题得到解决。 收起阅读 »
数字货币量化揭秘-简单暴力但高效的高频交易机器人
策略分享地址：https://www.botvs.com/strategy/1088
策略从2014年8月运行，直到今年年初交易所收手续费。期间运行的还算很好，亏损的时间很少。资金从最初的200元跑到了80比特币。具体的过程可以看[小草的新浪博客](小草_新浪博客)里[虚拟货币自动化交易之路](虚拟货币自动化交易之路（五）_小草_新浪博客)系列文章。
下图是总资产折合币的曲线：
为什么分享这个策略
1.交易所收取手续费后，几乎杀死了所有的高频策略，我的也不例外。但策略改改也许还能用，大家可以研究一下。
2.好久没有分享东西了，这篇文章早就想写了。
3.和大家共同交流学习。
策略的原理
这个策略原理极为简单，可以理解为准高频的做市策略，各位看了之后可能想打人，这都能赚钱，当时几乎谁都能写出来。我开始也没预料到它能这么有效，可见心中有想法要赶紧付出实践，说不一定有意外之喜。在比特币机器人初兴的2014年，写出赚钱的策略太容易了。
和所有的高频策略一样，本策略也是基于orderbook,下图就是一个典型的比特币交易所的订单分布，
可以看到左侧是买单，显示了不同价格的挂单数量，右侧是卖单。可以想象如果一个人要买入比特币，如果不想挂单等待的话，只能选择吃单，如果他的单子比较多，会使得卖单挂单大量成交，对价格造成冲击，但是这种冲击一般不会一直持续，还有人想吃单卖出，价格在极短时间很可能还会恢复，反过来理解有人要卖币也类似。
以图中的挂单为例，如果要直接买入5个币，那么价格会达到10377，在这时如果有人要直接卖出5个币，价格会达到10348，这个空间就是利润空间.策略会在稍低于10377的价格挂单，如10376.99，同时会以稍高于10348的价格买入，如10348.01，这是如果刚才的情况发生了，显然就会赚到其中的差价。虽然不会每次都如此完美，但在概率的作用下，赚钱的几率实际高得惊人。
以现在策略的参数讲解一下具体操作，这个参数当然无法使用了，仅作一个说明。它会向上寻找累计卖挂单量为8个币的价格，这里是10377，那么此时的卖价就是这个价格减去0.01（减去多少可以是随机的），同理向下寻找累计买挂单为8个币，这里是10348，那么此时的卖价就是10348.01，此时买卖价的差价是10376.99-10348.01=28.98，大于策略预设的差价1.5，就以这两个价格挂单等待成交，如果价差小于1.5，也会找一个价格进行挂单，如盘口价格加减10，等待捡漏（更合适的应该是继续往下找跟多的深度）。
进一步的说明
1. 没有钱或币了怎么办？
这种情况在我的钱较少是十分普遍，大多数时候只挂一边的单子，但不是大问题。其实可以加入币钱平衡的逻辑，但在平衡的过程难免产生损失，毕竟每一次的成交都是概率的垂青，我选择保持单边等待成交，当然这样也浪费了另一边的成交机会。
2. 仓位是如何管理的？
刚开始都是满仓买入卖出，后来根据不同的参数分为不同的组，不会一次完全成交。
3. 没有止损吗？
策略有完整的买卖挂单的逻辑，我认为不需要止损（可以讨论），还有就是概率的垂青，成交就是机会，止损可惜了。
4. 如何调整为赚币的策略？
此时的参数是对称的，即向上8个币的累计卖单，向下8个币的累计买单，稍微不平衡一下，比如向上改为15个币的累计卖单，使得卖币机会更难得，有更大的几率会以更低的价格接回来，这样就会赚币，反过来就赚钱。实际上前期策略如此有效，币和钱都是增加的。
代码讲解
完整的代码可以见我在http://www.botvs.com得策略分享，这里只讲解核心逻辑函数。在没有改动的情况下，在botvs自带的模拟盘竟然运转完全正常，这是一个3年多前的策略，平台还支持到现在，太让人感动了。
首先是获取买卖价函数GetPrice()，需要获取订单深度信息，注意不同平台的订单深度信息长度不同，以及即使遍历了所有订单仍然没有所需要的量的情况（在后期许多0.01的网格挂单会导致这种情况），调用是GetPrice('Buy')就是获取买价。
尾巴
整个程序也就40多行，看上去十分简单，但当时也花了我一个多星期，这还是在botvs平台上情况下。最大的优势还是起步早，在2014年，市场上以搬砖为主，网格和抢盘口的高频也不多，使得策略如鱼得水，后来竞争不可避免越来越激烈，我的钱也越来越多，面临的挑战很多，每隔一段时间都要进行较大的改动来应对，但总体还算顺利。在交易平台不收取手续费的情况下，是程序化交易的天堂，散户因为不收手续费跟倾向于操作，为高频和套利提供了空间，这一切也基本随着动辄0.1-0.2%的双向手续费终结了，不仅是自己被收费的问题，而是整个市场活跃度下降。
但不需要高频的量化策略任然有很大的空间。
作者 小草 收起阅读 »
这个策略是我做虚拟货币以来的主要策略，后面经过不断完善和修改，复杂了很多，但主要思想并没有改变，分享的这个版本是无明显bug的 最初版本，最为简单清晰，没有仓位管理，每次交易都是满仓，没有卡死后重启等等，但也足够说明问题。
策略从2014年8月运行，直到今年年初交易所收手续费。期间运行的还算很好，亏损的时间很少。资金从最初的200元跑到了80比特币。具体的过程可以看[小草的新浪博客](小草_新浪博客)里[虚拟货币自动化交易之路](虚拟货币自动化交易之路（五）_小草_新浪博客)系列文章。
下图是总资产折合币的曲线：
为什么分享这个策略
1.交易所收取手续费后，几乎杀死了所有的高频策略，我的也不例外。但策略改改也许还能用，大家可以研究一下。
2.好久没有分享东西了，这篇文章早就想写了。
3.和大家共同交流学习。
策略的原理
这个策略原理极为简单，可以理解为准高频的做市策略，各位看了之后可能想打人，这都能赚钱，当时几乎谁都能写出来。我开始也没预料到它能这么有效，可见心中有想法要赶紧付出实践，说不一定有意外之喜。在比特币机器人初兴的2014年，写出赚钱的策略太容易了。
和所有的高频策略一样，本策略也是基于orderbook,下图就是一个典型的比特币交易所的订单分布，
可以看到左侧是买单，显示了不同价格的挂单数量，右侧是卖单。可以想象如果一个人要买入比特币，如果不想挂单等待的话，只能选择吃单，如果他的单子比较多，会使得卖单挂单大量成交，对价格造成冲击，但是这种冲击一般不会一直持续，还有人想吃单卖出，价格在极短时间很可能还会恢复，反过来理解有人要卖币也类似。
以图中的挂单为例，如果要直接买入5个币，那么价格会达到10377，在这时如果有人要直接卖出5个币，价格会达到10348，这个空间就是利润空间.策略会在稍低于10377的价格挂单，如10376.99，同时会以稍高于10348的价格买入，如10348.01，这是如果刚才的情况发生了，显然就会赚到其中的差价。虽然不会每次都如此完美，但在概率的作用下，赚钱的几率实际高得惊人。
以现在策略的参数讲解一下具体操作，这个参数当然无法使用了，仅作一个说明。它会向上寻找累计卖挂单量为8个币的价格，这里是10377，那么此时的卖价就是这个价格减去0.01（减去多少可以是随机的），同理向下寻找累计买挂单为8个币，这里是10348，那么此时的卖价就是10348.01，此时买卖价的差价是10376.99-10348.01=28.98，大于策略预设的差价1.5，就以这两个价格挂单等待成交，如果价差小于1.5，也会找一个价格进行挂单，如盘口价格加减10，等待捡漏（更合适的应该是继续往下找跟多的深度）。
进一步的说明
1. 没有钱或币了怎么办？
这种情况在我的钱较少是十分普遍，大多数时候只挂一边的单子，但不是大问题。其实可以加入币钱平衡的逻辑，但在平衡的过程难免产生损失，毕竟每一次的成交都是概率的垂青，我选择保持单边等待成交，当然这样也浪费了另一边的成交机会。
2. 仓位是如何管理的？
刚开始都是满仓买入卖出，后来根据不同的参数分为不同的组，不会一次完全成交。
3. 没有止损吗？
策略有完整的买卖挂单的逻辑，我认为不需要止损（可以讨论），还有就是概率的垂青，成交就是机会，止损可惜了。
4. 如何调整为赚币的策略？
此时的参数是对称的，即向上8个币的累计卖单，向下8个币的累计买单，稍微不平衡一下，比如向上改为15个币的累计卖单，使得卖币机会更难得，有更大的几率会以更低的价格接回来，这样就会赚币，反过来就赚钱。实际上前期策略如此有效，币和钱都是增加的。
代码讲解
完整的代码可以见我在http://www.botvs.com得策略分享，这里只讲解核心逻辑函数。在没有改动的情况下，在botvs自带的模拟盘竟然运转完全正常，这是一个3年多前的策略，平台还支持到现在，太让人感动了。
首先是获取买卖价函数GetPrice()，需要获取订单深度信息，注意不同平台的订单深度信息长度不同，以及即使遍历了所有订单仍然没有所需要的量的情况（在后期许多0.01的网格挂单会导致这种情况），调用是GetPrice('Buy')就是获取买价。
function GetPrice(Type) {
//_C()是平台的容错函数
var depth=_C(exchange.GetDepth);
var amountBids=0;
var amountAsks=0;
//计算买价，获取累计深度达到预设的价格
if(Type=="Buy"){
for(var i=0;i<20;i++){
amountBids+=depth.Bids[i].Amount;
//参数floatamountbuy是预设的累计深度
if (amountBids>floatamountbuy){
//稍微加0.01，使得订单排在前面
return depth.Bids[i].Price+0.01;}
}
}
//同理计算卖价
if(Type=="Sell"){
for(var j=0; j<20; j++){
amountAsks+=depth.Asks[j].Amount;
if (amountAsks>floatamountsell){
return depth.Asks[j].Price-0.01;}
}
}
//遍历了全部深度仍未满足需求，就返回一个价格，以免出现bug
return depth.Asks[0].Price
}
// 每个循环的主函数onTick(),这里定的循环时间3.5s，每次循环都会把原来的单子撤销，重新挂单，越简单越不会遇到bug.
function onTick() {
var buyPrice = GetPrice("Buy");
var sellPrice= GetPrice("Sell");
//diffprice是预设差价，买卖价差如果小于预设差价，就会挂一个相对更深的价格
if ((sellPrice - buyPrice) <= diffprice){
buyPrice-=10;
sellPrice+=10;}
//把原有的单子全部撤销，实际上经常出现新的价格和已挂单价格相同的情况，此时不需要撤销
CancelPendingOrders()
//获取账户信息，确定目前账户存在多少钱和多少币
var account=_C(exchange.GetAccount);
//可买的比特币量，_N()是平台的精度函数
var amountBuy = _N((account.Balance / buyPrice-0.1),2);
//可卖的比特币量，注意到没有仓位的限制，有多少就买卖多少，因为我当时的钱很少
var amountSell = _N((account.Stocks),2);
if (amountSell > 0.02) {
exchange.Sell(sellPrice,amountSell);}
if (amountBuy > 0.02) {
exchange.Buy(buyPrice, amountBuy);}
//休眠，进入下一轮循环
Sleep(sleeptime);
}尾巴
整个程序也就40多行，看上去十分简单，但当时也花了我一个多星期，这还是在botvs平台上情况下。最大的优势还是起步早，在2014年，市场上以搬砖为主，网格和抢盘口的高频也不多，使得策略如鱼得水，后来竞争不可避免越来越激烈，我的钱也越来越多，面临的挑战很多，每隔一段时间都要进行较大的改动来应对，但总体还算顺利。在交易平台不收取手续费的情况下，是程序化交易的天堂，散户因为不收手续费跟倾向于操作，为高频和套利提供了空间，这一切也基本随着动辄0.1-0.2%的双向手续费终结了，不仅是自己被收费的问题，而是整个市场活跃度下降。
但不需要高频的量化策略任然有很大的空间。
作者 小草 收起阅读 »
怀孕妈妈 深港1年学车路
这几年几乎都听到身边的人都在考驾照（特别是亲眼见证自己的妹妹在半年多就拿到驾照）当自己怀孕7个月时，想到马上临近为期5至6个月产假，难得有假期（不过新手妈妈忽略了有娃后再也没有自由的概念啊）一股冲动及热流涌上心头后，我要报考驾照！ 对学车路没有任何了解的情况下，就这样在2016年7月选择了深圳知名度最广的深港报了名·（将近6k大洋）
接下来开始走流程，准备交资料，拍照，等待了10几天，才有了流水号，8月4日，参加了理论培训
生产完，就去考了科一，还好幸运的是10月份科一98分通过了~ 计划美美的，以为可以在产假期间顺利练完，考完所谓的最难的科二，科三就不在话下了，然后就坐等拿驾照了，可是，没有这么多可是，艰辛的学车路才拉开帷幕啊~
11月中旬，在深港客服那边拿到了科二教练的电话号码，兴致满满，谦逊的和教练通了电话，顺利约到了第二天下午2点练车
为了避免迟到，早早的去到练车场，去到时和教练打了招呼，他就说“今天先练习打方向盘”，他教了一次，就让我打者，那个方向盘是一根柱子上套了一个方向盘，左一圈，右一圈打了2个小时，只能观望真车，却不能上车的心情一下有点落寞。。。
后面2个小时过后，教练试图建议我加300练自动档，我还是没有答应，他就说 那今天先到这吧，下次再约
为了能在假期争取多练车，我就抓住机会问教练，下次什么时候可以过来，他没有正面回复我，只是说有时间我会安排你，我知道无法争取了，就说 那好吧。在第二次约车时直接回复 人太多练不了，当时我就开始体会到，原来有时间练车，也很难约到车。
心情又一下子沮丧了
又过了一周多，后面学习其他学员采取送烟送礼的方式，成功约到了车，也成功上了车练了前进后退
通过和其他学员了解，深深明白了学车的风气及约车的困难，教练的脾气后，对自己美好的计划再也没有了期待
时间一天天过去
偶尔可以去练车的日子也变得平常，一直到了2017年中旬，进入深圳酷热的夏天
在科二最难的项目“倒车入库”上挣扎学习了一个多月，某天约车时，教练回复我说“他不再带我们这个班了，说我们这个班有新的教练带我们”
这消息来得突然，霎时间不知道自己分到了什么教练，分在哪个练车场，赶紧问深港客服
后来经过几天了解才得知要去宝安那边学车，想到一下子又要跑到这么远的地方练车，太浪费时间，所以索性自己争取换教练。
又过了一周，才换号教练，重新投入练习
此时假期已用完，不能随叫随到了，由于平时要上班，只有周末有空，练车路变得更加艰辛（周末练车人太多了）
新教练风气脾气依旧，不过心里已有准备，再也不像刚开始那样寄予美好愿望了
不过新教练是一个快到斩乱麻的人，5月底，在我去练习不到一周的时间，就帮我加入了科二报考
考前顶着热辣辣的太阳，在端午三天假期强化训练了3天，教练也带我们去社会考场（交了200大洋）进行模拟考试，模拟也失败了，回家哭得一塌糊涂
果然，很可惜，第一次科二还是失败了；沮丧，灰心，内疚充斥着那个夏天，过了一个月又重新越考，7月份 天气更热了，即使穿了防晒衣，那太阳足以晒得通红脱皮，黑白分明，最后搞到发烧中暑~
又回到科二考场，第一把由于太过紧张，脚抖，败在了自己平时练得还不错的“直角转弯” ；顶着巨大的压力，开始了第二把考试，慢慢的走完了全程，终于拿下科二，开心到感觉整个人要飞起来~
科三，大家都说很简单，心里又开始美起来了，等啊等啊，终于在10月底约到了科三教练
也许是太久没摸车了，也许是科二的练习方法不适合科三，也许是自己毫无车感，也许是第一次在大马路开车，不管有多少个 也许，直接的结果是，手脚不协调，眼睛无法关注远方，无法把车修直，完全不会开啊，天也渐渐的黑了，教练在一旁也完全对我失去了信心，语重心长停下车来对我说“现在科三有新规了，要带油门走的，不是那么简单的，你还是加300改报自动档吧”
我听完也很难过，心里无比的自卑和落寞
但是，我还是意志坚定和教练说“好的，我知道自己开得很差，我接下来回去在模拟机上好好练, 如果还是练不好，我会考虑您的建议的“
就这样，安排了自己一个星期在模拟机上练习，终于找到了一点开车的感觉，毕竟模拟机还是模拟机，所以当自己再次重新投入真车练习时，由于实际路况比较复杂，油门还是不敢轻易踩上去，不过，教练还是夸了我一句”比以前进步很大“
相对比科二来说，科三约车练习容易很多，所以此次内心更多的戒掉了科二时对驾校的迷茫，更多是关注了自己技巧的不足。哪里不足哪里自己课后在模拟机上有针对性的强加练习开始，慢慢的终于开得比较好了。
1个月后，成功了约到考试（白石洲考场）据说白石洲考场在12月就不对外考试了，所以我此次考试更加要努力，不然又要重新训练及适应其他考场，压力会更加大。
考前是紧张的，因为深深知道自己并不是很有把握。 重点讲下考试当天吧。
考试时间是安排在10-11点那一场。早上8点，再次按教练所说的到练车场练了一圈，考前练习，这是很好的经验。
虽然按照计划10点前赶到了考场，但是足足焦急万分的等到了中午12点才轮到自己，那会又饿又不安
看到前面很多学员 直接起步后就挂在了靠边停车那个项目，还没来得及走完整个考场~越看越紧张
直到自己真的上到了车上，也许是紧张的心情，感觉位置怎么做怎么不舒服，离合踩下去很滑，一会就松开
我一直在念念叨叨，怎么办，离合这么滑，离合这么滑，一直在试车，或许试了几分钟吧，但感觉已经像过了几个世纪
貌似都觉得安全员已对我不耐烦了，可是我还是觉得自己没有准备好，终于按下了第一次指纹，模拟夜考后，开始起步了，果然第一把也同样挂在了”靠边停车“ ，拉起手刹后，系统立即播报考试结束，天啊，当时的心情足以差到极点，就这样，我只剩下一次机会了啊，已完全没有退路了
车又被安全员开回起点，绕车一圈后，重新试车，只有最后一次机会的我，真的不敢再起步，我害怕失败，害怕就这样回家
可是，无法后退，只能跟自己说，没事的，慢慢来
鼓起所有勇气，再次按下指纹，认真完成了模拟夜考，小心翼翼的起步，慢慢的完成了靠边停车，悬着的心稍微有点放松，再缓缓的起步，完成了直线形势，每走一个项目，都和自己说一遍，接下来是变更车道，需要打灯，2挡超车，3挡进入学校区域，人行横道，停车换1挡起步，3挡进入公交车站前进行点刹，打灯，1挡掉头，继续2挡上3挡学校区域，路口直行，1挡起步。上2上3，公交车站提前点刹，打灯右转，最后进行加档操作，顺利完成所有项目，当时内心已激动不已，但是一刻没有到停止线时，都不能掉以轻心，当听到考试结束，成绩合格，所有紧张不安，换成了无以言表的喜悦和激动。。。
科三过了，心就定了，也顺利当天考完了科四，当发信息给教练传送战绩时，教练的回复时“啊，你确定你过了吗 你这么差都能过?不要搞错哦，把成绩单发来看看吧“ 我突然觉得空气夹杂着尴尬，原来一直以来自己竟然教练心目中最差的学员。不过庆幸地是，自己没有辜负所有帮助过自己的人。顺利拿到驾照。
收起阅读 »
TypeError: reduction operation 'argmin' not allowed for this dtype
使用pd.read_sql() 方法把Mysql的数据库转为dataframe后，使用 df['low'].idxmin() 或者df['low'].argmin() 方法是会出现这个错误。
TypeError: reduction operation 'argmin' not allowed for this dtype
把df的每列数据类型打印出来看看。
print df.dtypes
晕，居然把low这些float类型全部转为了object，所以解决办法就是把这些列的数据转为float64.
这样之后，问题就解决了。
收起阅读 »
date = date + '-01-01'
cmd = 'select * from `{}` where datetime > \'{}\''.format(code, date)
try:
df = pd.read_sql(cmd, history_engine,index_col='index')
except Exception,e:
print e
return None
# 不知道为啥，这里的类型发生改变
idx= df['low'].idxmin()
TypeError: reduction operation 'argmin' not allowed for this dtype
把df的每列数据类型打印出来看看。
print df.dtypes
datetime datetime64[ns]
code object
name object
open object
close object
high object
low object
vol float64
amount float64
dtype: object
晕，居然把low这些float类型全部转为了object，所以解决办法就是把这些列的数据转为float64.
df['low']=df['low'].astype('float64')
这样之后，问题就解决了。
收起阅读 »
matplotlib pie饼图 lable设置中文乱码 解决办法
X=[1,1,1,1,1,1,1]
labels = [u'百度',u'京东',u'陆金所',u'工行',u'招行',u'华泰',u'国金',u'广发',u'QQ']
plt.figure()
p = plt.pie(X,labels=labels)
(实际X的数据为其他数据，这里只是简单的设为1的列表)
google了些资料，找到以下可行的解决办法：
找一个系统自带的中文字体文件的路径
比如这一个：C:\Windows\winsxs\amd64_microsoft-windows-font-truetype-simfang_31bf3856ad364e35_6.1.7600.16385_none_e417159f3b4eb1b7\simfang.ttf
把路径拷贝下来。
然后在代码中设置：
for front in p[1]:
front.set_fontproperties(mpl.font_manager.FontProperties(
fname='C:\Windows\winsxs\amd64_microsoft-windows-font-truetype-simfang_31bf3856ad364e35_6.1.7600.16385_none_e417159f3b4eb1b7\simfang.ttf'))
把 p中的font属性强制改为指向我们想要的字体路径，这样就可以达到修改饼图上的中文乱码问题了。
正常显示中文了。
在linux下同理，只需要下载一个字体文件，放在某个目录，然后在代码中指定字体的位置。
字体文件下载： https://fontzone.net/download/simhei
然后运行： $locate -b '\mpl-data'
看看mpl目录的位置，把字体文件放到fonts/ttf这个目录下面，
如果使用代码设定，如下：
#!/usr/bin/env python
#coding:utf-8
"""a demo of matplotlib"""
import matplotlib as mpl
from matplotlib import pyplot as plt
mpl.rcParams[u'font.sans-serif'] = ['simhei']
mpl.rcParams['axes.unicode_minus'] = False
years = [1950, 1960, 1970, 1980, 1990, 2000, 2010]
gdp = [300.2, 543.3, 1075.9, 2862.5, 5979.6, 10289.7, 14958.3]
#创建一副线图,x轴是年份,y轴是gdp
plt.plot(years, gdp, color='green', marker='o', linestyle='solid')
#添加一个标题
plt.title(u'名义GDP')
#给y轴加标记
plt.ylabel(u'十亿美元')
plt.show()
PS:
在树莓派上回出现的问题：
UserWarning: findfont: Font family [u'sans-serif'] not found. Falling back to DejaVu Sanspi@raspb DejaVu Sans^CserWarning: findfont: Font family [u'sans-serif'] not found. Falling back to
这个时候只要安装一个font-manager就可以了：
sudo apt install font-manager
OK ！ 收起阅读 »
You must either define the environment variable DJANGO_SETTINGS_MODULE
代码如下：
就出错了。
这个原因一般就是直接使用python或者ipython交互解析器造成的。
你需要切换到你的django目录，然后使用python manager.py shell 运行， 然后执行上面的函数或者代码， 就不会再出现这个错误了
django.core.exceptions.ImproperlyConfigured: Requested setting TEMPLATES, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.
收起阅读 »
from django import template
def template_usage():
t = template.Template('My name is {{ name }}')
c = template.Context({'name':'Rocky'})
print t.render(c)
template_usage()
就出错了。
这个原因一般就是直接使用python或者ipython交互解析器造成的。
你需要切换到你的django目录，然后使用python manager.py shell 运行， 然后执行上面的函数或者代码， 就不会再出现这个错误了
django.core.exceptions.ImproperlyConfigured: Requested setting TEMPLATES, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.
收起阅读 »
儿歌多多 下载全部儿歌视频文件
嗅探app的下载路径，然后抓取数据
http://30daydo.com/article/236
更新 ******** 2018-01-09*************
最近才发现以前曾经挖了这个坑，现在来完成它吧。
儿歌多多在爱奇艺的视频网站上也有全集，所以目标转为抓取iqiyi的儿歌多多视频列表。
github上有一个现成的下载iqiyi的第三方库，可以通过python调用这个库来实现下载功能。
代码使用python3来实现。
1. 打开网页 http://www.iqiyi.com/v_19rrkwcx6w.html#curid=455603300_26b870cbb10342a6b8a90f7f0b225685
这个是第一集的儿歌多多，url后面的curid只是一个随机的字符串，可以直接去掉。
url=“http://www.iqiyi.com/v_19rrkwcx6w.htm”
浏览器直接查看源码，里面直接包含了1-30集的视频url，那么要做的就是提取这30个url
先抓取网页内容：
然后提取内容中的url
点击查看大图
提取div标签中的属性 data-current-count=1的。然后选择子节点中的li标签，提取li中的a中的href链接即可。
2. 有了url，就可以下载这个页面的中的内容了。
这里我使用的是一个第三方的视频下载库，you-get。（非常好用，fork到自己仓库研究 https://github.com/Rockyzsu/you-get）
使用方法：
python you-get -d --format=HD url
you-get 需要下载一个ffmpeg.exe的文件来解码视频流的，去官网就可以免费下载。
url就是你要下载的url地址，format可以选择高清还是其他格式的，我这里选择的是HD。
在python脚本里面调用另外一个python脚本，可以使用subprocess来调用。
上面的song_url 就是接着最上面那个代码的。
完整代码如下：
上面的是1-30集的，全部集数现在是120集，31-60的在url
http://www.iqiyi.com/v_19rrl2td7g.html
这个url只要你选择iqiyi视频的右边栏，就会自动变化。 同理也可以找到61-120的url，然后替换到上面代码中最开始的url就可以了。（这里因为页码少，所以就没有用循环去做）
最终的下载结果：
后面修改了下代码，判断文件是不是已经存在，存在的会就不下载，对于长时间下载100多个文件很有用，如果掉线了，重新下载就不会去下载那些已经下好的。
下载下来大概300多集，直接拷贝到平板上离线播放，再也不卡了。
原创地址：http://30daydo.com/article/236
转载请注明出处
收起阅读 »
http://30daydo.com/article/236
更新 ******** 2018-01-09*************
最近才发现以前曾经挖了这个坑，现在来完成它吧。
儿歌多多在爱奇艺的视频网站上也有全集，所以目标转为抓取iqiyi的儿歌多多视频列表。
github上有一个现成的下载iqiyi的第三方库，可以通过python调用这个库来实现下载功能。
代码使用python3来实现。
1. 打开网页 http://www.iqiyi.com/v_19rrkwcx6w.html#curid=455603300_26b870cbb10342a6b8a90f7f0b225685
这个是第一集的儿歌多多，url后面的curid只是一个随机的字符串，可以直接去掉。
url=“http://www.iqiyi.com/v_19rrkwcx6w.htm”
浏览器直接查看源码，里面直接包含了1-30集的视频url，那么要做的就是提取这30个url
先抓取网页内容：
session = requests.Session()
def getContent(url):
try:
ret = session.get(url)
except:
return None
if ret.status_code==200:
return ret.text
else:
return None
然后提取内容中的url
点击查看大图
提取div标签中的属性 data-current-count=1的。然后选择子节点中的li标签，提取li中的a中的href链接即可。
content = getContent(url)
root = etree.HTML(content)
elements=root.xpath('//div[@data-current-count="1"]//li/a/@href')
for items in elements:
song_url = items.replace('//','')
song_url=song_url.strip()
print(song_url)
2. 有了url，就可以下载这个页面的中的内容了。
这里我使用的是一个第三方的视频下载库，you-get。（非常好用，fork到自己仓库研究 https://github.com/Rockyzsu/you-get）
使用方法：
python you-get -d --format=HD url
you-get 需要下载一个ffmpeg.exe的文件来解码视频流的，去官网就可以免费下载。
url就是你要下载的url地址，format可以选择高清还是其他格式的，我这里选择的是HD。
在python脚本里面调用另外一个python脚本，可以使用subprocess来调用。
p=subprocess.Popen('python you-get -d --format=HD {}'.format(song_url),stderr=subprocess.PIPE,stdout=subprocess.PIPE,shell=True)
output,error = p.communicate()
print(output)
print(error)
p.wait()上面的song_url 就是接着最上面那个代码的。
完整代码如下：
#-*-coding=utf-8-*-
import requests
from lxml import etree
import subprocess
session = requests.Session()
def getContent(url):
# url='http://www.iqiyi.com/v_19rrkwcx6w.html'
try:
ret = session.get(url)
# except Exception,e:
except:
# print e
return None
if ret.status_code==200:
return ret.text
else:
return None
def getUrl():
url='http://www.iqiyi.com/v_19rrkwcx6w.html'
url2='http://www.iqiyi.com/v_19rrl2td7g.html' # 31-61
content = getContent(url)
root = etree.HTML(content)
elements=root.xpath('//div[@data-current-count="1"]//li/a/@href')
for items in elements:
song_url = items.replace('//','')
song_url=song_url.strip()
print(song_url)
p=subprocess.Popen('python you-get -d --format=HD {}'.format(song_url),stderr=subprocess.PIPE,stdout=subprocess.PIPE,shell=True)
output,error = p.communicate()
print(output)
print(error)
p.wait()
def main():
getUrl()
if __name__ == '__main__':
main()
上面的是1-30集的，全部集数现在是120集，31-60的在url
http://www.iqiyi.com/v_19rrl2td7g.html
这个url只要你选择iqiyi视频的右边栏，就会自动变化。 同理也可以找到61-120的url，然后替换到上面代码中最开始的url就可以了。（这里因为页码少，所以就没有用循环去做）
最终的下载结果：
后面修改了下代码，判断文件是不是已经存在，存在的会就不下载，对于长时间下载100多个文件很有用，如果掉线了，重新下载就不会去下载那些已经下好的。
#-*-coding=utf-8-*-
import sys,os
import requests
from lxml import etree
import subprocess
session = requests.Session()
def getContent(url):
# url='http://www.iqiyi.com/v_19rrkwcx6w.html'
try:
ret = requests.get(url)
ret.encoding='utf-8'
# except Exception,e:
except:
# print e
return None
if ret.status_code==200:
return ret.text
else:
return None
def getUrl():
url='http://www.iqiyi.com/v_19rrkwcx6w.html'
url2='http://www.iqiyi.com/v_19rrl2td7g.html' # 31-61
content = getContent(url)
if not content:
print "network issue, retry"
exit(0)
root = etree.HTML(content,parser=etree.HTMLParser(encoding='utf-8'))
elements=root.xpath('//div[@data-current-count="1"]//li')
for items in elements:
url_item=items.xpath('.//a/@href')[0]
song_url = url_item.replace('//','')
song_url=song_url.strip()
print(song_url)
# name=items.xpath('.//span[@class="item-num"]/text()')[0]
name=items.xpath('.//span[@class="item-num"]/text()')[0].encode('utf-8').strip()+\
' '+items.xpath('.//span[@class="item-txt"]/text()')[0].encode('utf-8').strip()+'.mp4'
name= '儿歌多多 '+name
name=name.decode('utf-8')
filename=os.path.join(os.getcwd(),name)
print filename
if os.path.exists(filename):
continue
p=subprocess.Popen('python you-get -d --format=HD {}'.format(song_url),stderr=subprocess.PIPE,stdout=subprocess.PIPE,shell=True)
output,error = p.communicate()
print(output)
print(error)
p.wait()
def main():
getUrl()
if __name__ == '__main__':
main()
下载下来大概300多集，直接拷贝到平板上离线播放，再也不卡了。
原创地址：http://30daydo.com/article/236
转载请注明出处
收起阅读 »
win7 修改mysql my.ini配置文件出错,提示文件被其他应用程序占用
准备把mysql的数据库导出到excel文档,使用的命令是:
select * from tb_advertiser.tb_advertiser into outfile 'tbads.xls';
结果出现了错误: The MySQL server is running with the --secure-file-priv option
于是按照网上的教程去修改my.ini的配置文件, 添加这一行:
secure_file_priv=' ' #-- 不对mysqld 的导入 导出做限制
结果保存的时候一直提示我的my.ini配置文件被占用, 当然理所当然的, 因为mysql正在运行着呢. 于是手工把mysql的所有的服务都关掉, 再重新编辑并保存,
不过这个报错还是照样出错.
折腾一番, 踩了写坑后, 尝试把myini的权限给修改成完全控制后, my.ini文件就可以被修改并保存了.
问题症结: 文件默认权限只能是user的. 需要把其他用户的权限给到my.ini配置文件 收起阅读 »
select * from tb_advertiser.tb_advertiser into outfile 'tbads.xls';
结果出现了错误: The MySQL server is running with the --secure-file-priv option
于是按照网上的教程去修改my.ini的配置文件, 添加这一行:
secure_file_priv=' ' #-- 不对mysqld 的导入 导出做限制
结果保存的时候一直提示我的my.ini配置文件被占用, 当然理所当然的, 因为mysql正在运行着呢. 于是手工把mysql的所有的服务都关掉, 再重新编辑并保存,
不过这个报错还是照样出错.
折腾一番, 踩了写坑后, 尝试把myini的权限给修改成完全控制后, my.ini文件就可以被修改并保存了.
问题症结: 文件默认权限只能是user的. 需要把其他用户的权限给到my.ini配置文件 收起阅读 »
批量下载懒人听书mp3文件
懒人听书是一个不错的在线听书网站， 最近用电脑网页在听。打算把音频文件给下载到手机上，平时的空余时间听听。不过网页版并不提供下载功能。
只有安装app后才能下载。
装了app也只能一个一个地去下载，所以索性一次过下载全部的音频吧。
方法很简单，代码很短。 你也可以看得懂。
以财经郎眼的节目音频为例。 其他的节目内容方法差不多的。
浏览器打开页面：
http://www.lrts.me/book/32551
然后按F12打开调试窗口,我用的是chrome
然后看到网页底下有下一页的按钮,点击下一页,看看每一页的url. 就能找到具体的下一页的url.
(待续)
python代码:
抓取的内容:
原创文章，转载请注明出处：
http://30daydo.com/article/231
需要下载的打包数据可以留下邮箱或者私信。
收起阅读 »
只有安装app后才能下载。
装了app也只能一个一个地去下载，所以索性一次过下载全部的音频吧。
方法很简单，代码很短。 你也可以看得懂。
以财经郎眼的节目音频为例。 其他的节目内容方法差不多的。
浏览器打开页面：
http://www.lrts.me/book/32551
然后按F12打开调试窗口,我用的是chrome
然后看到网页底下有下一页的按钮,点击下一页,看看每一页的url. 就能找到具体的下一页的url.
(待续)
python代码:
# coding: utf-8
# http://30daydo.com
import urllib
import os
import requests
import time
from lxml import etree
from header_toolkit import getheader
def spider():
curr=os.getcwd()
target_dir=os.path.join(curr,'data')
if not os.path.exists(target_dir):
os.mkdir(target_dir)
for i in range(1, 100, 10):
url = 'http://www.lrts.me/ajax/playlist/2/32551/%d' % i
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}
s = requests.get(url=url, headers=headers)
tree = etree.HTML(s.text)
nodes = tree.xpath('//*[starts-with(@class,"clearfix section-item section")]')
print len(nodes)
for node in nodes:
filename = node.xpath('.//div[@class="column1 nowrap"]/span/text()')[0]
link = node.xpath('.//input[@name="source" and @type="hidden"]/@value')[0]
print link
post_fix=link.split('.')[-1]
full_path= filename+'.'+post_fix
urllib.urlretrieve(link, filename=os.path.join(target_dir,full_path))
time.sleep(1)
if __name__ == '__main__':
spider()
抓取的内容:
原创文章，转载请注明出处：
http://30daydo.com/article/231
需要下载的打包数据可以留下邮箱或者私信。
收起阅读 »
怎么判断你用的代理是高度匿名还是透明的
先介绍下什么事高度匿名代理和透明代理.
你用透明代理上QQ,对方还是能看到你的本来的IP
只有用匿名和高匿名才不会被对方看到IP.
详细的说：
匿名代理:
如果从隐藏使用代理用户的级别上划分，代理可以分为三种，即高度匿名代理、普通匿名代理和透明代理。
(1)高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。
(2)普通匿名代理能隐藏客户机的真实IP，但会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道你的ip地址，但仍然可以知道你在使用代理，当然某些能够侦测ip的网页仍然可以查到你的ip。
(3)透明代理，它不但改变了我们的请求信息，还会传送真实的IP地址。
三者隐藏使用代理者身份的级别依次为高度匿名代理最隐蔽，其次是普通匿名代理，最差的是透明代理。
把你找到的代理iP,在你的浏览器里设置一下, 具体可以百度谷歌, 不难.
然后用浏览器打开这个网站:
http://members.3322.org/dyndns/getip
网站返回很简单, 就是你当前的iP地址. 据目前使用那么多的检测iP地址的网站来看,这个网站最准.
用代理打开这个网站,如果网站显示的是你代理IP,那么说明你的ip是高度匿名的.
如果网站显示的是有2个ip,那么你的代理是透明的, 第一个ip是你的原始ip,而第二个ip是你用的代理ip.
收起阅读 »
你用透明代理上QQ,对方还是能看到你的本来的IP
只有用匿名和高匿名才不会被对方看到IP.
详细的说：
匿名代理:
如果从隐藏使用代理用户的级别上划分，代理可以分为三种，即高度匿名代理、普通匿名代理和透明代理。
(1)高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。
(2)普通匿名代理能隐藏客户机的真实IP，但会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道你的ip地址，但仍然可以知道你在使用代理，当然某些能够侦测ip的网页仍然可以查到你的ip。
(3)透明代理，它不但改变了我们的请求信息，还会传送真实的IP地址。
三者隐藏使用代理者身份的级别依次为高度匿名代理最隐蔽，其次是普通匿名代理，最差的是透明代理。
把你找到的代理iP,在你的浏览器里设置一下, 具体可以百度谷歌, 不难.
然后用浏览器打开这个网站:
http://members.3322.org/dyndns/getip
网站返回很简单, 就是你当前的iP地址. 据目前使用那么多的检测iP地址的网站来看,这个网站最准.
用代理打开这个网站,如果网站显示的是你代理IP,那么说明你的ip是高度匿名的.
如果网站显示的是有2个ip,那么你的代理是透明的, 第一个ip是你的原始ip,而第二个ip是你用的代理ip.
收起阅读 »
mongodb中$sum:1 后面的1是什么意思
源数据:
然后运行以下的命令:
返回的count是6
所以
$sum:1 的含义:
如果前面的情况出现一次,就加1, 如果后面$sum:2 那么每次前面条件满足一次就加2
收起阅读 »
{
"_id" : "GuqXmAkkARqhBDqhy",
"beatmapset_id" : "342537",
"version" : "MX",
"diff_approach" : "5",
"artist" : "Yousei Teikoku",
"title" : "Kokou no Sousei",
"difficultyrating" : "3.5552737712860107"
}
{
"_id" : "oHLT7KqsB7bztBGvu",
"beatmapset_id" : "342537",
"version" : "HD",
"diff_approach" : "5",
"artist" : "Yousei Teikoku",
"title" : "Kokou no Sousei",
"difficultyrating" : "2.7515676021575928"
}
{
"_id" : "GbotZfrPEwW69FkGD",
"beatmapset_id" : "342537",
"version" : "NM",
"diff_approach" : "5",
"artist" : "Yousei Teikoku",
"title" : "Kokou no Sousei",
"difficultyrating" : "0"
}然后运行以下的命令:
db.getCollection('dup_case').aggregate(
[
{$group:{
_id:{diff_approach:'$diff_approach'},
count:{$sum:2}
}},
{$match:{count:{$gt:1}}}
]
) 返回的count是6
所以
$sum:1 的含义:
如果前面的情况出现一次,就加1, 如果后面$sum:2 那么每次前面条件满足一次就加2
收起阅读 »
Python 学习笔记2.1 ——数据类型和结构
电脑配置：windows 64位
Python版本：3.6.0
学习内容： 量化分析师的Python日记【第1天：谁来给我讲讲Python？】 以下为转载加自己的笔记
一、容器
1，什么是容器
Python中有一种名为容器的数据结构，包括序列和字典，序列又包括列表、元组、字符串等
列表的基本形式比如：[1,3,6,10]或者[‘yes’,’no’,’OK’]
元组的基本形式比如：(1,3,6,10)或者(‘yes’,’no’,’OK’)
字符串的基本形式比如：’hello’
以上几种属于序列，序列中的每一个元素都被分配一个序号——即元素的位置，也称为“索引”，第一个索引，即第一个元素的位置是0，第二个是1，依次类推。列表和元组的区别主要在于，列表可以修改，而元组不能（注意列表用中括号而元组用括号）。
索引是从0开始的
2. 序列的一些通用操作
除了上面说到的索引，列表、元组、字符串等这些序列还有一些共同的操作。
（1）索引（补充上面）
序列的最后一个元素的索引，也可以是-1，倒数第二个也可以用-2，依次类推：
（2）分片
使用分片操作来访问一定范围内的元素，它的格式为：
a[开始索引:结束索引:步长]
那么访问的是，从开始索引号的那个元素，到结束索引号-1的那个元素，每间隔步长个元素访问一次，步长可以忽略，默认步长为1。
收起阅读 »
Python版本：3.6.0
学习内容： 量化分析师的Python日记【第1天：谁来给我讲讲Python？】 以下为转载加自己的笔记
一、容器
1，什么是容器
Python中有一种名为容器的数据结构，包括序列和字典，序列又包括列表、元组、字符串等
列表的基本形式比如：[1,3,6,10]或者[‘yes’,’no’,’OK’]
元组的基本形式比如：(1,3,6,10)或者(‘yes’,’no’,’OK’)
字符串的基本形式比如：’hello’
以上几种属于序列，序列中的每一个元素都被分配一个序号——即元素的位置，也称为“索引”，第一个索引，即第一个元素的位置是0，第二个是1，依次类推。列表和元组的区别主要在于，列表可以修改，而元组不能（注意列表用中括号而元组用括号）。
索引是从0开始的
2. 序列的一些通用操作
除了上面说到的索引，列表、元组、字符串等这些序列还有一些共同的操作。
（1）索引（补充上面）
序列的最后一个元素的索引，也可以是-1，倒数第二个也可以用-2，依次类推：
（2）分片
使用分片操作来访问一定范围内的元素，它的格式为：
a[开始索引:结束索引:步长]
那么访问的是，从开始索引号的那个元素，到结束索引号-1的那个元素，每间隔步长个元素访问一次，步长可以忽略，默认步长为1。
收起阅读 »
Python 学习笔记1.2——第三方库安装
电脑配置：windows 64位
python版本：3.6.0
一、前往第三方网站下载所需要的包
http://www.lfd.uci.edu/~gohlke/pythonlibs/
二、使用pip安装
pip install xxx
收起阅读 »
python版本：3.6.0
一、前往第三方网站下载所需要的包
http://www.lfd.uci.edu/~gohlke/pythonlibs/
二、使用pip安装
pip install xxx
收起阅读 »
python redis 笔记
刚接触redis，难免会有那么一些坑，新人一定会踩到的。 把自己的坑写出来，让以后新人少踩点吧。
踩坑也不是什么坏事，不过浪费点时间而已。
1. 配置文件redis.config
如果你要远程访问你的redis服务器，那么里面有一行你一定要注释掉：
# bind 127.0.0.1
解释：
# 指定 redis 只接收来自于该 IP 地址的请求，如果不进行设置，那么将处理所有请求
# bind 192.168.1.100 10.0.0.1
# bind 127.0.0.1
当时调了半天没连上去，就是被这个参数给害的。
2. redis-cli 连接本地redis服务器。 本地服务器端口已经改变。
开始使用redis-cli 127.0.0.1:8888 结果是一直都出错。
然后在某个配置文档看到测试本地端口，使用的命令是 redis-cli -p 8888
不然上面的永远都会连着6379.
待续。 不定期更新。
收起阅读 »
踩坑也不是什么坏事，不过浪费点时间而已。
1. 配置文件redis.config
如果你要远程访问你的redis服务器，那么里面有一行你一定要注释掉：
# bind 127.0.0.1
解释：
# 指定 redis 只接收来自于该 IP 地址的请求，如果不进行设置，那么将处理所有请求
# bind 192.168.1.100 10.0.0.1
# bind 127.0.0.1
当时调了半天没连上去，就是被这个参数给害的。
2. redis-cli 连接本地redis服务器。 本地服务器端口已经改变。
开始使用redis-cli 127.0.0.1:8888 结果是一直都出错。
然后在某个配置文档看到测试本地端口，使用的命令是 redis-cli -p 8888
不然上面的永远都会连着6379.
待续。 不定期更新。
收起阅读 »
lxml.etree._ElementUnicodeResult 转为字符
在爬虫过程中，使用的是lxml的xpath查找对应的字段。
address=each.xpath('.//address/text()')[0].strip()
结果用address与一般的字符进行拼接时，总是出现
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
这种错误。
主要因为python2的蛋疼的编码原因。
解决办法：
根据lxml的官方文档：http://lxml.de/api/lxml.etree._ElementUnicodeResult-class.html
object --+ | basestring --+ | unicode --+ | _ElementUnicodeResult
_ElementUnicodeResult 是unicode的一个子类。
那么可以直接将它转为unicode
address.encode('utf-8') 就可以了。
收起阅读 »
address=each.xpath('.//address/text()')[0].strip()
结果用address与一般的字符进行拼接时，总是出现
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
这种错误。
主要因为python2的蛋疼的编码原因。
解决办法：
根据lxml的官方文档：http://lxml.de/api/lxml.etree._ElementUnicodeResult-class.html
object --+ | basestring --+ | unicode --+ | _ElementUnicodeResult
_ElementUnicodeResult 是unicode的一个子类。
那么可以直接将它转为unicode
address.encode('utf-8') 就可以了。
收起阅读 »
修改python的默认最大递归层数
python里面为了性能，默认的递归次数不能超过1000次。
运行下面的代码：
返回下面的错误：
File "C:/Git/base_function/resursion_usage.py", line 7, in recursion
recursion(n - 1)
RuntimeError: maximum recursion depth exceeded
解决办法： 修改python默认的递归层数。
在程序开头的地方添加以下语句：
然后再次运行，就不会有上面的错误信息了。
收起阅读 »
运行下面的代码：
def recursion(n):
if(n <= 0):
print n
return
print n
recursion(n - 1)
if __name__ == "__main__":
recursion(1200)
返回下面的错误：
File "C:/Git/base_function/resursion_usage.py", line 7, in recursion
recursion(n - 1)
RuntimeError: maximum recursion depth exceeded
解决办法： 修改python默认的递归层数。
在程序开头的地方添加以下语句：
import sys
sys.setrecursionlimit(1500)
然后再次运行，就不会有上面的错误信息了。
收起阅读 »
apt-get安装软件时 需要依赖更低版本的依赖库 通用解决办法
比如ubuntu尝试安装sqlite3，
会出现上面的问题。
方法1，使用aptitude 安装。
收起阅读 »
xda@xda-dt:~$ sudo apt-get install sqlite3 libsqlite3-0=3.7.9-2ubuntu1.1
Reading package lists... Done
Building dependency tree
Reading state information... Done
libsqlite3-0 is already the newest version.
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:
The following packages have unmet dependencies:
sqlite3 : Depends: libsqlite3-0 (= 3.7.9-2ubuntu1) but 3.7.9-2ubuntu1.1 is to be installed
E: Unable to correct problems, you have held broken packages.
会出现上面的问题。
方法1，使用aptitude 安装。
xda@xda-dt:~$ sudo aptitude install sqlite3
The following NEW packages will be installed:
sqlite3{b}
0 packages upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 26.9 kB of archives. After unpacking 174 kB will be used.
The following packages have unmet dependencies:
sqlite3 : Depends: libsqlite3-0 (= 3.7.9-2ubuntu1) but 3.7.9-2ubuntu1.1 is installed.
The following actions will resolve these dependencies:
Keep the following packages at their current version:
1) sqlite3 [Not Installed]
Accept this solution? [Y/n/q/?] n
The following actions will resolve these dependencies:
Downgrade the following packages:
1) libsqlite3-0 [3.7.9-2ubuntu1.1 (now) -> 3.7.9-2ubuntu1 (precise)]
Accept this solution? [Y/n/q/?] Y
The following packages will be DOWNGRADED:
libsqlite3-0
The following NEW packages will be installed:
sqlite3
0 packages upgraded, 1 newly installed, 1 downgraded, 0 to remove and 0 not upgraded.
Need to get 375 kB of archives. After unpacking 174 kB will be used.
Do you want to continue? [Y/n/?] Y
Get: 1 http://hk.archive.ubuntu.com/ubuntu/ precise/main libsqlite3-0 amd64 3.7.9-2ubuntu1 [348 kB]
Get: 2 http://hk.archive.ubuntu.com/ubuntu/ precise/main sqlite3 amd64 3.7.9-2ubuntu1 [26.9 kB]
Fetched 375 kB in 1s (306 kB/s)
dpkg: warning: downgrading libsqlite3-0 from 3.7.9-2ubuntu1.1 to 3.7.9-2ubuntu1.
(Reading database ... 162912 files and directories currently installed.)
Preparing to replace libsqlite3-0 3.7.9-2ubuntu1.1 (using .../libsqlite3-0_3.7.9-2ubuntu1_amd64.deb) ...
Unpacking replacement libsqlite3-0 ...
Selecting previously unselected package sqlite3.
Unpacking sqlite3 (from .../sqlite3_3.7.9-2ubuntu1_amd64.deb) ...
Processing triggers for man-db ...
Setting up libsqlite3-0 (3.7.9-2ubuntu1) ...
Setting up sqlite3 (3.7.9-2ubuntu1) ...
Processing triggers for libc-bin ...
ldconfig deferred processing now taking place
xda@xda-dt:~$ sqlite3
SQLite version 3.7.9 2011-11-01 00:52:41
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> .exit
收起阅读 »
编译cmake到更新的版本 【ubuntu】
ubuntu12.04 的cmake版本是2.8.7， 在一些QT程序下，需要较高的cmake版本。
如果只是使用命令：
sudo apt-get install cmake 或者sudo apt-get upgrade cmake
获取到的版本还是2.8.7
正确的做法：
cd ~/Downloads/
wget http://www.cmake.org/files/v2. ... ar.gz
tar xzvf cmake-2.8.10.tar.gz
cd cmake-2.8.10
./configure
make -j4
sudo make install
关闭命令行后重新开一个命令行，然后运行 cmake --version， 就可以看到你的cmake已经更新到你要的版本。 收起阅读 »
如果只是使用命令：
sudo apt-get install cmake 或者sudo apt-get upgrade cmake
获取到的版本还是2.8.7
正确的做法：
cd ~/Downloads/
wget http://www.cmake.org/files/v2. ... ar.gz
tar xzvf cmake-2.8.10.tar.gz
cd cmake-2.8.10
./configure
make -j4
sudo make install
关闭命令行后重新开一个命令行，然后运行 cmake --version， 就可以看到你的cmake已经更新到你要的版本。 收起阅读 »
斐讯路由器强制推送广告
开始以为是个别网站弹窗，都是些今日头条的app之类的app应用推广。
后面方法，居然在我这个网站上都出现，于是上网一搜。 果然发现斐讯被扒的文章。
http://www.right.com.cn/forum/thread-227504-1-1.html
收起阅读 »
后面方法，居然在我这个网站上都出现，于是上网一搜。 果然发现斐讯被扒的文章。
http://www.right.com.cn/forum/thread-227504-1-1.html
收起阅读 »
在uefi主板上安装ubuntu，grub一直无法写入
主板是技嘉P61的板子，是一块uefi的主板。
因为要安装ubuntu，所以使用ultraISO烧录的启动u盘，然后u盘启动。
重启后，顺利进入安装界面，一路下去后。 最后卡在 grub安装出错的界面处。
因为用的是最新的ubuntu16.04，所以开始以为是系统兼容性问题，所以就降级到12.04。 用ultraISO重新烧录可启动U盘。
结果问题依然存在，所以排除系统问题，因为以前在其他机子上装过很多次12.04了。
于是到ubuntu官网上搜了一下，发现这个很多人遇到问题。
解决方案无非有2个，一个是禁用uefi模式，一个是创建efi分区。
然后自己自己折腾自己的bios设置。 技嘉的板子没有直接禁用uefi的选项，百度之。 原来一部分主板bios的uefi的设置选项，是CSM， 这个选项默认是开启的了，然后把个功能关闭， 然后重新安装，问题还是出现。
而此之后，启动设备的优先级里面，一直会出现一个ubuntu的选项。
重置bios设置，这个选项会一直都在。
然后无解，只能用第二种方法。 启动uefi，在安装ubuntu过程中，分区选项里面，选择手工分区，分了以下分区：
/
/boot
/home
swap
/efi （一定要这个分区）
划分上面分区，系统不再出现grub安装失败的错误。 可是，系统重启后，系统就会挂掉，很不稳定。
后来重试了几次，没办法，重试第一次的方法。 这一次，我把主板的电池扣掉，放电几分钟。 然后进bios，重新禁用CSM， 重装。 使用默认的分区方法， 然后重要成功了。
收起阅读 »
因为要安装ubuntu，所以使用ultraISO烧录的启动u盘，然后u盘启动。
重启后，顺利进入安装界面，一路下去后。 最后卡在 grub安装出错的界面处。
因为用的是最新的ubuntu16.04，所以开始以为是系统兼容性问题，所以就降级到12.04。 用ultraISO重新烧录可启动U盘。
结果问题依然存在，所以排除系统问题，因为以前在其他机子上装过很多次12.04了。
于是到ubuntu官网上搜了一下，发现这个很多人遇到问题。
解决方案无非有2个，一个是禁用uefi模式，一个是创建efi分区。
然后自己自己折腾自己的bios设置。 技嘉的板子没有直接禁用uefi的选项，百度之。 原来一部分主板bios的uefi的设置选项，是CSM， 这个选项默认是开启的了，然后把个功能关闭， 然后重新安装，问题还是出现。
而此之后，启动设备的优先级里面，一直会出现一个ubuntu的选项。
重置bios设置，这个选项会一直都在。
然后无解，只能用第二种方法。 启动uefi，在安装ubuntu过程中，分区选项里面，选择手工分区，分了以下分区：
/
/boot
/home
swap
/efi （一定要这个分区）
划分上面分区，系统不再出现grub安装失败的错误。 可是，系统重启后，系统就会挂掉，很不稳定。
后来重试了几次，没办法，重试第一次的方法。 这一次，我把主板的电池扣掉，放电几分钟。 然后进bios，重新禁用CSM， 重装。 使用默认的分区方法， 然后重要成功了。
收起阅读 »
树莓派上安装redis-server 亲测
采用的方法为到官网下载源码，然后在树莓派上编译。
1. 下载源码压缩包：
官方网址： https://redis.io/download
下载下来的格式为tar.gz
通过命令行解压： tar xvfz xxxxxx.tar.gz
2. 解压后进入 redis-4.0.0的目录，然后执行命令： make
3. 等待源码编译（树莓派上有点久）， 见到这一行：Hint: It's a good idea to run 'make test' ;)
说明你安装成功了
4. 编译成功后， 记得运行命令 sudo src/redis-server
来启动redis server。
成功运行后的文字界面：
12718:C 17 Jul 23:09:24.447 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
12718:C 17 Jul 23:09:24.448 # Redis version=4.0.0, bits=64, commit=00000000, modified=0, pid=12718, just started
12718:C 17 Jul 23:09:24.448 # Warning: no config file specified, using the default config. In order to specify a config file use src/redis-server /path/to/redis.conf
12718:M 17 Jul 23:09:24.450 * Increased maximum number of open files to 10032 (it was originally set to 256).
_._
_.-``__ ''-._
_.-`` `. `_. ''-._ Redis 4.0.0 (00000000/0) 64 bit
.-`` .-```. ```\/ _.,_ ''-._
( ' , .-` | `, ) Running in standalone mode
|`-._`-...-` __...-.``-._|'` _.-'| Port: 6379
| `-._ `._ / _.-' | PID: 12718
`-._ `-._ `-./ _.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' | http://redis.io
`-._ `-._`-.__.-'_.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' |
`-._ `-._`-.__.-'_.-' _.-'
`-._ `-.__.-' _.-'
`-._ _.-'
`-.__.-'
12718:M 17 Jul 23:09:24.451 # Server initialized
12718:M 17 Jul 23:09:24.451 * Ready to accept connections 收起阅读 »
1. 下载源码压缩包：
官方网址： https://redis.io/download
下载下来的格式为tar.gz
通过命令行解压： tar xvfz xxxxxx.tar.gz
2. 解压后进入 redis-4.0.0的目录，然后执行命令： make
3. 等待源码编译（树莓派上有点久）， 见到这一行：Hint: It's a good idea to run 'make test' ;)
说明你安装成功了
4. 编译成功后， 记得运行命令 sudo src/redis-server
来启动redis server。
成功运行后的文字界面：
12718:C 17 Jul 23:09:24.447 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
12718:C 17 Jul 23:09:24.448 # Redis version=4.0.0, bits=64, commit=00000000, modified=0, pid=12718, just started
12718:C 17 Jul 23:09:24.448 # Warning: no config file specified, using the default config. In order to specify a config file use src/redis-server /path/to/redis.conf
12718:M 17 Jul 23:09:24.450 * Increased maximum number of open files to 10032 (it was originally set to 256).
_._
_.-``__ ''-._
_.-`` `. `_. ''-._ Redis 4.0.0 (00000000/0) 64 bit
.-`` .-```. ```\/ _.,_ ''-._
( ' , .-` | `, ) Running in standalone mode
|`-._`-...-` __...-.``-._|'` _.-'| Port: 6379
| `-._ `._ / _.-' | PID: 12718
`-._ `-._ `-./ _.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' | http://redis.io
`-._ `-._`-.__.-'_.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' |
`-._ `-._`-.__.-'_.-' _.-'
`-._ `-.__.-' _.-'
`-._ _.-'
`-.__.-'
12718:M 17 Jul 23:09:24.451 # Server initialized
12718:M 17 Jul 23:09:24.451 * Ready to accept connections 收起阅读 »
python matplotlib 中的plot legend的用法
官方有链接说明：https://matplotlib.org/users/legend_guide.html
不过对于大部分人来说，英文教程，加上上面的例子有点晦涩。
所以以个人的理解，简单地用代码介绍下。
运行上面的代码后，得到的结果是：
如果把那句legend() 的语句去掉，那么图形上的图例也就会消失了。
所以legend（）的主要只用就是用于在图上标明一个图例，用于说明每条曲线的文字显示。 你也可以把图例控制在左边，右边，底下等等。
实际使用中，legend（）有一个loc参数，用于控制图例的位置。 比如 plot.legend(loc=2) , 这个位置就是4象项中的第二象项，也就是左上角。 loc可以为1,2,3,4 这四个数字。
原文连接：
http://30daydo.com/article/215
转载请注明出处 收起阅读 »
不过对于大部分人来说，英文教程，加上上面的例子有点晦涩。
所以以个人的理解，简单地用代码介绍下。
import matplotlib.pyplot as plt
import numpy as np
x = np.arange(10)
print x
fig = plt.figure()
ax = plt.subplot(111)
for i in xrange(5):
#ax.plot(x, i * x, label='y=%dx' %i)
ax.plot(x, i * x, label='$y = %ix$' % i)
ax.legend()
plt.show()
运行上面的代码后，得到的结果是：
如果把那句legend() 的语句去掉，那么图形上的图例也就会消失了。
所以legend（）的主要只用就是用于在图上标明一个图例，用于说明每条曲线的文字显示。 你也可以把图例控制在左边，右边，底下等等。
实际使用中，legend（）有一个loc参数，用于控制图例的位置。 比如 plot.legend(loc=2) , 这个位置就是4象项中的第二象项，也就是左上角。 loc可以为1,2,3,4 这四个数字。
原文连接：
http://30daydo.com/article/215
转载请注明出处 收起阅读 »
为什么使用dataframe自带的plot函数绘图 没有输出图像？
比如：
在pycharm中程序运行完了就直接退出，没有输出任何的图像。
然后看了下源码后，需要在后面手工添加一句 plt.show()
这样就能够正常显示图像了。 收起阅读 »
df=pd.read_csv('LoanStats_2017Q1.csv',header=0)
print df.head(10)
print df.describe()
analysis_columns = ['issue_d','term','int_rate','emp_title','grade','home_ownership','verification_status','purpose','loan_amnt','total_pymnt','out_prncp','total_rec_int','total_rec_prncp','installment','annual_inc','dti','fico_range_low','fico_range_high','last_fico_range_low','last_fico_range_high','open_acc','loan_status','delinq_amnt','acc_now_delinq','tot_coll_amt']
deal_data = df.loc[:,analysis_columns]
print deal_data
deal_data.groupby('issue_d').agg({'loan_amnt':'sum'}).plot(kind="bar")
deal_data.groupby('issue_d').agg({'issue_d':'count'}).plot(kind = 'bar')在pycharm中程序运行完了就直接退出，没有输出任何的图像。
然后看了下源码后，需要在后面手工添加一句 plt.show()
这样就能够正常显示图像了。 收起阅读 »
numpy/dataframe 中cumsum 的用法
用途：cumsum 样本值的累计和
例子：
x为一个0到100的array， 那么对这个array进行cumsum操作后
y现在的值为：
从结果很明显看到 cumsum是将样本逐渐累加，第一个是0，第二个是0+1，第三个是0+1+2，所以第三个是3，第4个是0+1+2+3=6，如此类推，最后一个就是这101个数的累加和，5050
收起阅读 »
例子：
x=np.arange(101)
y=x.cumsum()
print y
print len(y)
x为一个0到100的array， 那么对这个array进行cumsum操作后
y现在的值为：
[ 0 1 3 6 10 15 21 28 36 45 55 66 78 91 105
120 136 153 171 190 210 231 253 276 300 325 351 378 406 435
465 496 528 561 595 630 666 703 741 780 820 861 903 946 990
1035 1081 1128 1176 1225 1275 1326 1378 1431 1485 1540 1596 1653 1711 1770
1830 1891 1953 2016 2080 2145 2211 2278 2346 2415 2485 2556 2628 2701 2775
2850 2926 3003 3081 3160 3240 3321 3403 3486 3570 3655 3741 3828 3916 4005
4095 4186 4278 4371 4465 4560 4656 4753 4851 4950 5050]
从结果很明显看到 cumsum是将样本逐渐累加，第一个是0，第二个是0+1，第三个是0+1+2，所以第三个是3，第4个是0+1+2+3=6，如此类推，最后一个就是这101个数的累加和，5050
收起阅读 »
