python 中文图片文字识别
pytesseract这个库识别率偏低，也就菜鸟才会用。
使用方法很简单，安装好pytesseract（里面很多坑，小白的话不可避免要折腾一番），然后下载一个中文的字库，百度网盘：https://pan.baidu.com/s/1_jom2d95IeR40gsvkhUuvQ
然后把文件放到tesseract的文件夹中 C:\Program Files (x86)\Tesseract-OCR\tessdata
然后就可以拿来识别了：
图片的内容是这样的：
然后识别效果如下：
还是不咋地。
那么可以换成大厂的API。试试百度的：
先去百度云申请一个API，免费的。
https://cloud.baidu.com/doc/OCR/OCR-Python-SDK.html#.E9.85.8D.E7.BD.AEAipOcr
然后把key复制到上面的代码中就可以了。
然后再调用看看结果：
收起阅读 »
使用方法很简单，安装好pytesseract（里面很多坑，小白的话不可避免要折腾一番），然后下载一个中文的字库，百度网盘：https://pan.baidu.com/s/1_jom2d95IeR40gsvkhUuvQ
然后把文件放到tesseract的文件夹中 C:\Program Files (x86)\Tesseract-OCR\tessdata
然后就可以拿来识别了：
from PIL import Image
im = Image.open('chinese.jpg')
plt.figure(figsize=(20,20))
plt.imshow(im)
pytesseract.image_to_string(im,lang='chi_sim')
图片的内容是这样的：
然后识别效果如下：
'可L又使用以下的语句i上图片显示大 此'
还是不咋地。
那么可以换成大厂的API。试试百度的：
""" 读取图片 """
def get_file_content(filePath):
with open(filePath, 'rb') as fp:
return fp.read()
image = get_file_content('example.jpg')
""" 调用通用文字识别, 图片参数为本地图片 """
client.basicGeneral(image);
""" 如果有可选参数 """
options = {}
options["language_type"] = "CHN_ENG"
options["detect_direction"] = "true"
options["detect_language"] = "true"
options["probability"] = "true"
from aip import AipOcr
""" 你的 APPID AK SK """
APP_ID = '你的 App ID'
API_KEY = '你的 Api Key'
SECRET_KEY = '你的 Secret Key'
client = AipOcr(APP_ID, API_KEY, SECRET_KEY)
""" 带参数调用通用文字识别, 图片参数为本地图片 """
client.basicGeneral(image, options)
url = "https//www.x.com/sample.jpg"
""" 调用通用文字识别, 图片参数为远程url图片 """
client.basicGeneralUrl(url);
""" 如果有可选参数 """
options = {}
options["language_type"] = "CHN_ENG"
options["detect_direction"] = "true"
options["detect_language"] = "true"
options["probability"] = "true"
""" 带参数调用通用文字识别, 图片参数为远程url图片 """
client.basicGeneralUrl(url, options)
先去百度云申请一个API，免费的。
https://cloud.baidu.com/doc/OCR/OCR-Python-SDK.html#.E9.85.8D.E7.BD.AEAipOcr
然后把key复制到上面的代码中就可以了。
然后再调用看看结果：
可以使用以下的语句让图片显示大些正确率明显高很多了。
收起阅读 »
可转债价格分布堆叠图 绘制 可视化 python+pyecharts
这一节课带大家学习如何利用可视化，更好的呈现数据。
即使你有很多数据，可是，你无法直观地看到数据的总体趋势。使用可视化的绘图，可以帮助我们看到数据背后看不到的数据。 比如我已经有每一个可转债的价格，评级。数据如下：
点击查看大图
如果我用下面的图形就可以看出规律：
点击查看大图
横坐标是价格，纵坐标是落在该价格的可转债数量，不同颜色代表不同评级的可转债。
可以看到大部分AA-评级（浅橙色）的可转债价格都在100元以下，而AA（浅蓝色）的可转债价格分布较为平均，从90到110都有。而AA+和AAA的一般都在100以上。
那么如何使用代码实现呢？
如果没有安装pyecharts，需要用pip安装即可。
原创文章
转载请注明出处：
http://30daydo.com/article/400
收起阅读 »
即使你有很多数据，可是，你无法直观地看到数据的总体趋势。使用可视化的绘图，可以帮助我们看到数据背后看不到的数据。 比如我已经有每一个可转债的价格，评级。数据如下：
点击查看大图
如果我用下面的图形就可以看出规律：
点击查看大图
横坐标是价格，纵坐标是落在该价格的可转债数量，不同颜色代表不同评级的可转债。
可以看到大部分AA-评级（浅橙色）的可转债价格都在100元以下，而AA（浅蓝色）的可转债价格分布较为平均，从90到110都有。而AA+和AAA的一般都在100以上。
那么如何使用代码实现呢？
from setting import get_mysql_conn,get_engine
import pandas as pd
import pymongo
from pyecharts import Geo,Style,Map
engine = get_engine('db_stock',local='local')
# 堆叠图
from pyecharts import Bar
df = pd.read_sql('tb_bond_jisilu',con=engine)
result ={}
for name,grades in df.groupby('评级'):
# print(name,grades[['可转债名称','可转债价格']])
for each in grades['可转债价格']:
result.setdefault(name,)
result[name].append(each)
# 确定价格的范围
value = [str(i) for i in range(85,140)]
ret = [0]*len(value)
ret1 = dict(zip(value,ret))
ret_A_add = ret1.copy()
for item in result['A+']:
for k in ret1:
if float(k)+0.5>item and float(k)-0.5<=item:
ret_A_add[k]+=1
retAA_ = ret1.copy()
for item in result['']:
for k in ret1:
if float(k)+0.5>item and float(k)-0.5<=item:
retAA_[k]+=1
retAA = ret1.copy()
for item in result['AA']:
for k in ret1:
if float(k)+0.5>item and float(k)-0.5<=item:
retAA[k]+=1
retAA_add = ret1.copy()
for item in result['AA+']:
for k in ret1:
if float(k)+0.5>item and float(k)-0.5<=item:
retAA_add[k]+=1
retAAA = ret1.copy()
for item in result['AAA']:
for k in ret1:
if float(k)+0.5>item and float(k)-0.5<=item:
retAAA[k]+=1
bar = Bar('可转债价格分布')
bar.add('A+',value,list(ret_A_add.values()),is_stack=True,yaxis_max=11)
bar.add('',value,list(retAA_.values()),is_stack=True,yaxis_max=11)
bar.add('AA',value,list(retAA.values()),is_stack=True,yaxis_max=11)
bar.add('AA+',value,list(retAA_add.values()),is_stack=True,yaxis_max=11)
bar.add('AAA',value,list(retAAA.values()),is_stack=True,yaxis_max=11)
如果没有安装pyecharts，需要用pip安装即可。
原创文章
转载请注明出处：
http://30daydo.com/article/400
收起阅读 »
拉勾网的反爬策略
更新于2019-01-23 ************
（请注意日期，因为不保证往后的日子里面反爬策略还有效）
1. 封IP，这个没的说，肯定要使用代理IP
2. scrapy里面的需要添加headers，而headers中一定要加上Cookies的数据。 之前要做Request中的cookies参数添加cookies，现在发现失效了，只能在headers中添加cookies数据。
（请注意日期，因为不保证往后的日子里面反爬策略还有效）
1. 封IP，这个没的说，肯定要使用代理IP
2. scrapy里面的需要添加headers，而headers中一定要加上Cookies的数据。 之前要做Request中的cookies参数添加cookies，现在发现失效了，只能在headers中添加cookies数据。
headers = {'Accept': 'application/json,text/javascript,*/*;q=0.01', 'Accept-Encoding':
'gzip,deflate,br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Cache-Control': 'no-cache',
# 'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
'Cookie': 'JSESSIONID=ABAAABAABEEAAJAACF8F22F99AFA35F9EEC28F2D0E46A41;_ga=GA1.2.331323650.1548204973;_gat=1;Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1548204973;user_trace_token=20190123085612-adf35b62-1ea9-11e9-b744-5254005c3644;LGSID=20190123085612-adf35c69-1ea9-11e9-b744-5254005c3644;PRE_UTM=;PRE_HOST=;PRE_SITE=;PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F;LGUID=20190123085612-adf35ed5-1ea9-11e9-b744-5254005c3644;_gid=GA1.2.1809874038.1548204973;index_location_city=%E6%B7%B1%E5%9C%B3;TG-TRACK-CODE=index_search;SEARCH_ID=169bf76c08b548f8830967a1968d10ca;Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1548204985;LGRID=20190123085624-b52a0555-1ea9-11e9-b744-5254005c3644',
'Host': 'www.lagou.com', 'Origin': 'https://www.lagou.com', 'Pragma': 'no-cache',
'Referer': 'https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=',
'User-Agent': 'Mozilla/5.0(WindowsNT6.3;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/71.0.3578.98Safari/537.36',
'X-Anit-Forge-Code': '0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With': 'XMLHttpRequest'
} 收起阅读 »
python高手才知道的答案
记录一些python不为人知的有趣的用法或者知识点
1.
2.
3.
Python 字典通过检查键值是否相等和比较哈希值来确定两个键是否相同.
具有相同值的不可变对象在Python中始终具有相同的哈希值.
4. 到处返回
当在 "try...finally" 语句的 try 中执行 return, break 或 continue 后, finally 子句依然会执行.
函数的返回值由最后执行的 return 语句决定. 由于 finally 子句一定会执行, 所以 finally 子句中的 return 将始终是最后执行的语句.
5
0 1 2 3
由于循环在Python中工作方式, 赋值语句 i = 10 并不会影响迭代循环, 在每次迭代开始之前, 迭代器(这里指 range(4)) 生成的下一个元素就被解包并赋值给目标列表的变量(这里指 i)了. 收起阅读 »
1.
>>> a = "some_string"
>>> id(a)
140420665652016
>>> id("some" + "_" + "string") # 注意两个的id值是相同的.
140420665652016
2.
e = "wtf"
f = "wtf"
e is f
结果 True
e = "wtf?"
f = "wtf?"
e is f
结果 False
3.
some_dict = {}
some_dict[5.5] = "Ruby"
some_dict[5.0] = "JavaScript"
some_dict[5] = "Python" >>> some_dict[5.5]
"Ruby"
>>> some_dict[5.0]
"Python"
>>> some_dict[5]
"Python"
Python 字典通过检查键值是否相等和比较哈希值来确定两个键是否相同.
具有相同值的不可变对象在Python中始终具有相同的哈希值.
4. 到处返回
def some_func():
try:
return 'from_try'
finally:
return 'from_finally'
>>> some_func()
'from_finally'
当在 "try...finally" 语句的 try 中执行 return, break 或 continue 后, finally 子句依然会执行.
函数的返回值由最后执行的 return 语句决定. 由于 finally 子句一定会执行, 所以 finally 子句中的 return 将始终是最后执行的语句.
5
for i in range(4):你可曾觉得这个循环只会运行一次?
print(i)
i = 10
0 1 2 3
由于循环在Python中工作方式, 赋值语句 i = 10 并不会影响迭代循环, 在每次迭代开始之前, 迭代器(这里指 range(4)) 生成的下一个元素就被解包并赋值给目标列表的变量(这里指 i)了. 收起阅读 »
numpy 二维数组按列合并
numpy的数组默认按行合并，如何按列合并？
先生产测试数组
转化形态：
然后运用concatenate函数拼接：
这个只需要添加参数axis=1就可以了，axis默认是为0，按照行拼接。
先生产测试数组
# np 的运算
n = np.arange(1,17)
转化形态：
n0 = n.reshape(4,4)变成4x4的矩阵
array([[ 1, 2, 3, 4],
[ 5, 6, 7, 8],
[ 9, 10, 11, 12],
[13, 14, 15, 16]])
然后运用concatenate函数拼接：
np.concatenate((n0,n0),axis=1)
array([[ 1, 2, 3, 4, 1, 2, 3, 4], [ 5, 6, 7, 8, 5, 6, 7, 8], [ 9, 10, 11, 12, 9, 10, 11, 12], [13, 14, 15, 16, 13, 14, 15, 16]])
这个只需要添加参数axis=1就可以了，axis默认是为0，按照行拼接。
np.concatenate((n0,n0),axis=1)
array([[ 1, 2, 3, 4],收起阅读 »
[ 5, 6, 7, 8],
[ 9, 10, 11, 12],
[13, 14, 15, 16],
[ 1, 2, 3, 4],
[ 5, 6, 7, 8],
[ 9, 10, 11, 12],
[13, 14, 15, 16]])
Django2.0+ 加载本地JS文件 配置
搜索网络上的，貌似有几种方案，不过都是坑，运行返回404，无法找到js文件的。 以下是自己亲测车工的。
本地调试，把JS存放本地，可以加快调试速度，不然每次都从CDN上取，影响效率，且无法离线运行
（没有网络的情况下）。
环境：python3.6 + Django 2.1.5
文件结构：
在django项目根目录，创建一个static的目录，里面存放一个jquery.js 的文件（这个文件可以到官方下载），然后在settings.py里面配置：
setting.py
然后在模板文件 test.html中引用：
然后重新运行django，就可以了。 收起阅读 »
本地调试，把JS存放本地，可以加快调试速度，不然每次都从CDN上取，影响效率，且无法离线运行
（没有网络的情况下）。
环境：python3.6 + Django 2.1.5
文件结构：
在django项目根目录，创建一个static的目录，里面存放一个jquery.js 的文件（这个文件可以到官方下载），然后在settings.py里面配置：
setting.py
STATIC_URL = '/static/'
STATICFILES_DIRS = (
os.path.join(BASE_DIR, 'static/'),
)
然后在模板文件 test.html中引用：
<!DOCTYPE html>
{% load staticfiles %}
<html lang="en">
<head>
<meta charset="UTF-8">
<title>交割单查询</title>
<script type="text/javascript" src="{% static 'jquery.js' %}"></script>
然后重新运行django，就可以了。 收起阅读 »
发现一个好玩的python脚本，你家小公主一定喜欢哈
#coding:utf-8
from turtle import *
def nose(x,y):#鼻子
penup()#提起笔
goto(x,y)#定位
pendown()#落笔，开始画
setheading(-30)#将乌龟的方向设置为to_angle/为数字（0-东、90-北、180-西、270-南）
begin_fill()#准备开始填充图形
a=0.4
for i in range(120):
if 0<=i<30 or 60<=i<90:
a=a+0.08
left(3) #向左转3度
forward(a) #向前走a的步长
else:
a=a-0.08
left(3)
forward(a)
end_fill()#填充完成
penup()
setheading(90)
forward(25)
setheading(0)
forward(10)
pendown()
pencolor(255,155,192)#画笔颜色
setheading(10)
begin_fill()
circle(5)
color(160,82,45)#返回或设置pencolor和fillcolor
end_fill()
penup()
setheading(0)
forward(20)
pendown()
pencolor(255,155,192)
setheading(10)
begin_fill()
circle(5)
color(160,82,45)
end_fill()
def head(x,y):#头
color((255,155,192),"pink")
penup()
goto(x,y)
setheading(0)
pendown()
begin_fill()
setheading(180)
circle(300,-30)
circle(100,-60)
circle(80,-100)
circle(150,-20)
circle(60,-95)
setheading(161)
circle(-300,15)
penup()
goto(-100,100)
pendown()
setheading(-30)
a=0.4
for i in range(60):
if 0<=i<30 or 60<=i<90:
a=a+0.08
lt(3) #向左转3度
fd(a) #向前走a的步长
else:
a=a-0.08
lt(3)
fd(a)
end_fill()
def ears(x,y): #耳朵
color((255,155,192),"pink")
penup()
goto(x,y)
pendown()
begin_fill()
setheading(100)
circle(-50,50)
circle(-10,120)
circle(-50,54)
end_fill()
penup()
setheading(90)
forward(-12)
setheading(0)
forward(30)
pendown()
begin_fill()
setheading(100)
circle(-50,50)
circle(-10,120)
circle(-50,56)
end_fill()
def eyes(x,y):#眼睛
color((255,155,192),"white")
penup()
setheading(90)
forward(-20)
setheading(0)
forward(-95)
pendown()
begin_fill()
circle(15)
end_fill()
color("black")
penup()
setheading(90)
forward(12)
setheading(0)
forward(-3)
pendown()
begin_fill()
circle(3)
end_fill()
color((255,155,192),"white")
penup()
seth(90)
forward(-25)
seth(0)
forward(40)
pendown()
begin_fill()
circle(15)
end_fill()
color("black")
penup()
setheading(90)
forward(12)
setheading(0)
forward(-3)
pendown()
begin_fill()
circle(3)
end_fill()
def cheek(x,y):#腮
color((255,155,192))
penup()
goto(x,y)
pendown()
setheading(0)
begin_fill()
circle(30)
end_fill()
def mouth(x,y): #嘴
color(239,69,19)
penup()
goto(x,y)
pendown()
setheading(-80)
circle(30,40)
circle(40,80)
def body(x,y):#身体
color("red",(255,99,71))
penup()
goto(x,y)
pendown()
begin_fill()
setheading(-130)
circle(100,10)
circle(300,30)
setheading(0)
forward(230)
setheading(90)
circle(300,30)
circle(100,3)
color((255,155,192),(255,100,100))
setheading(-135)
circle(-80,63)
circle(-150,24)
end_fill()
def hands(x,y):#手
color((255,155,192))
penup()
goto(x,y)
pendown()
setheading(-160)
circle(300,15)
penup()
setheading(90)
forward(15)
setheading(0)
forward(0)
pendown()
setheading(-10)
circle(-20,90)
penup()
setheading(90)
forward(30)
setheading(0)
forward(237)
pendown()
setheading(-20)
circle(-300,15)
penup()
setheading(90)
forward(20)
setheading(0)
forward(0)
pendown()
setheading(-170)
circle(20,90)
def foot(x,y):#脚
pensize(10)
color((240,128,128))
penup()
goto(x,y)
pendown()
setheading(-90)
forward(40)
setheading(-180)
color("black")
pensize(15)
fd(20)
pensize(10)
color((240,128,128))
penup()
setheading(90)
forward(40)
setheading(0)
forward(90)
pendown()
setheading(-90)
forward(40)
setheading(-180)
color("black")
pensize(15)
fd(20)
def tail(x,y):#尾巴
pensize(4)
color((255,155,192))
penup()
goto(x,y)
pendown()
seth(0)
circle(70,20)
circle(10,330)
circle(70,30)
def setting(): #参数设置
pensize(4)
hideturtle() #使乌龟无形（隐藏）
colormode(255) #将其设置为1.0或255.随后 颜色三元组的r，g，b值必须在0 .. cmode范围内
color((255,155,192),"pink")
setup(840,500)
speed(10)
def main():
setting() #画布、画笔设置
nose(-100,100) #鼻子
head(-69,167) #头
ears(0,160) #耳朵
eyes(0,140) #眼睛
cheek(80,10) #腮
mouth(-20,30) #嘴
body(-32,-8) #身体
hands(-56,-45) #手
foot(2,-177) #脚
tail(148,-155) #尾巴
done()
if __name__ == '__main__':
main()
安装turtle
pip install turtle
然后运行上面代码即可哈。
收起阅读 »
CryptoJS.enc.UTF8 中文乱码
最近在破解的JS的时候，遇到一个乱码问题。
内容用CryptoJS解密出来的，解出来是一个HTML格式的文本，标签，英文是正常显示的，但是中文是乱码的。
demo:
用“中国人”就还原不了
调试中。
待更新。
已解决：
看大佬最近几期文章，有一篇解决了，就是去Python目录下lib文件夹里面dsubprocess.py
文件下更改encding为UTF-8， 收起阅读 »
内容用CryptoJS解密出来的，解出来是一个HTML格式的文本，标签，英文是正常显示的，但是中文是乱码的。
demo:
# data='中国人'data用hello可以解密成功，
data='hello'
ret = CryptoJS.AES.encrypt(data,'secret key 123')
content = ret.toString()
result = CryptoJS.AES.decrypt(content,'secret key 123')
print(result.toString(CryptoJS.enc.Utf8))
用“中国人”就还原不了
调试中。
待更新。
已解决：
看大佬最近几期文章，有一篇解决了，就是去Python目录下lib文件夹里面dsubprocess.py
文件下更改encding为UTF-8， 收起阅读 »
missing 1 required positional argument on_delete --Django2.0
Django2.0+
使用ForeignKey 报错
TypeError: __init__() missing 1 required positional argument: 'on_delete'
解决办法：
定义ForeignKey的时候添加参数on_delete，然后需要重新migration model，不然还是会报错。
（如果还是不行，把migration文件夹的内容全部删掉，在migrated一下） 收起阅读 »
使用ForeignKey 报错
TypeError: __init__() missing 1 required positional argument: 'on_delete'
解决办法：
from django.db import models
class Article(models.Model):
category = models.ForeignKey('Category', on_delete=models.PROTECT)
title = models.CharField(max_length=55)
# ...
def __str__(self):
return self.title
定义ForeignKey的时候添加参数on_delete，然后需要重新migration model，不然还是会报错。
（如果还是不行，把migration文件夹的内容全部删掉，在migrated一下） 收起阅读 »
pyecharts真的是一个神一样的库
可视化太牛x了！！！ 感叹一下国内的大牛。
python数据分析之 A股上市公司按地区分布与可视化 地图显示
首先传统方法是使用数据库：
地区 数目
浙江 431
江苏 401
北京 316
广东 303
上海 285
深圳 283
山东 196
福建 132
四川 120
湖南 104
安徽 103
湖北 101
河南 79
辽宁 72
河北 56
新疆 54
天津 50
陕西 49
重庆 48
吉林 41
江西 41
山西 38
黑龙江 37
广西 37
云南 33
甘肃 33
海南 31
贵州 29
内蒙 25
西藏 18
宁夏 13
青海 12
看看我们的641主席的功劳，江浙一带的上市公司数量已经超过广东了。
接下来我们使用pandas进行数据可视化：
首先读入数据：
然后直接统计：
看是不是比mysql语句简单多了？
得到一样的数据。
接下来使用图像来显示我们的数据：
什么？ 一条命令就可以啦~ 实在太强大了！
从这个柱状图上，可以更加直观地看到A股上市公司的分布情况，东部长三角和珠三角的公司数目最多。而西部只有东部的零头。
接着把数据转化为百分比数据：
可以看到江浙地区占了22%的数量，体量还是很大的。
接下来，为了数据更加直观，把数据在地图上显示出来：
点击查看大图
颜色越红，表明上市公司越多。现在数据够直观了吧。
实现代码：
更多的数据分析，请关注本网站。
不定期更新哦
原创文章
转载请注明出处：
http://30daydo.com/article/388
收起阅读 »
SELECT area `地区`,count(*) as `数目` FROM `tb_basic_info` GROUP BY area order by 数目 desc;得到下面的结果： 接着我们使用pandas进行数据可视化。
地区 数目
浙江 431
江苏 401
北京 316
广东 303
上海 285
深圳 283
山东 196
福建 132
四川 120
湖南 104
安徽 103
湖北 101
河南 79
辽宁 72
河北 56
新疆 54
天津 50
陕西 49
重庆 48
吉林 41
江西 41
山西 38
黑龙江 37
广西 37
云南 33
甘肃 33
海南 31
贵州 29
内蒙 25
西藏 18
宁夏 13
青海 12
看看我们的641主席的功劳，江浙一带的上市公司数量已经超过广东了。
接下来我们使用pandas进行数据可视化：
首先读入数据：
# A股上市公司分布：engine为from sqlalchemy import create_engine 中的连接引擎。
df = pd.read_sql('tb_basic_info',con=engine)
然后直接统计：
result = df['area'].value_counts()得到的result就是统计结果：
看是不是比mysql语句简单多了？
得到一样的数据。
接下来使用图像来显示我们的数据：
什么？ 一条命令就可以啦~ 实在太强大了！
从这个柱状图上，可以更加直观地看到A股上市公司的分布情况，东部长三角和珠三角的公司数目最多。而西部只有东部的零头。
接着把数据转化为百分比数据：
total = result.sum()
ration = result/total*100
可以看到江浙地区占了22%的数量，体量还是很大的。
接下来，为了数据更加直观，把数据在地图上显示出来：
点击查看大图
颜色越红，表明上市公司越多。现在数据够直观了吧。
实现代码：
# 热力图
def create_heatmap(attr,value,name,maptype):
style = Style(title_color="#fff", title_pos="center",
width=1200, height=600, background_color="#696969")
# 可视化
geo = Geo(name,**style.init_style)
geo.add("", attr, value, visual_range=[min(value), max(value)], symbol_size=8,
visual_text_color="#000",
is_visualmap=True, type='effectScatter',effect_scale=7,is_random=True,is_roam=False,is_piecewise = True,visual_split_number= 10,
)
geo.render('{}.html'.format(name))
create_heatmap(attr,value,'公司分布','china')
更多的数据分析，请关注本网站。
不定期更新哦
原创文章
转载请注明出处：
http://30daydo.com/article/388
收起阅读 »
浏览器抓包post字段里面有 (unable to decode value) ，requests如何正确的post
在浏览器F12的抓包信息里面看到如下的数据：
数据是通过post形式提交的， 字段txtTKeyword无法显示，看来是用了其他的编码导致了浏览器无法识别。
可以使用fiddler工具查看。
在python中用代码直接编码后post，不然服务器无法识别提交的数据
注意不需要用 urllib.parse.quote(uncode_str)，直接encode就可以（特殊情况特殊处理，有些网站就是奇怪）
收起阅读 »
数据是通过post形式提交的， 字段txtTKeyword无法显示，看来是用了其他的编码导致了浏览器无法识别。
可以使用fiddler工具查看。
在python中用代码直接编码后post，不然服务器无法识别提交的数据
注意不需要用 urllib.parse.quote(uncode_str)，直接encode就可以（特殊情况特殊处理，有些网站就是奇怪）
s='耐克球鞋'
s =s.encode('gb2312')
data = {'__VIEWSTATE': view_state,
'__EVENTVALIDATION': event_validation,
'txtTKeyword': s,
'btQuery.x': 41,
'btQuery.y': 24,
}
r = session.post(url=self.base_url, headers=headers,
data=data,proxies=self.get_proxy()
收起阅读 »
randint python 的用法
官方的文档：
random.randint(a, b)
Return a random integer N such that a <= N <= b.
返回一个a到b之间的整数，包括a和b。
random.randint(a, b)
Return a random integer N such that a <= N <= b.
返回一个a到b之间的整数，包括a和b。
有道云笔记对markdown文档支持不友好
虽然最新版的有道云笔记支持markdown文档，可是无论是打开还是搜索，会导致笔记卡死，载入非常的慢。
在滚动栏里面，如果滚动到有markdown文档的地方，会导致文章列表上下的内容都会显示同一个文档的内容。
希望有道能越做越好吧~
在滚动栏里面，如果滚动到有markdown文档的地方，会导致文章列表上下的内容都会显示同一个文档的内容。
希望有道能越做越好吧~
python 代码获取mongodb数据库下所有的collection 文档名字
获取一个数据库下所有的collection 文档
db['db_pledge'].collection_names()
db['db_pledge'].list_collection_names()
21cn邮箱每天还限制发送邮件的次数
注册了一个来发送邮件推送，居然还限制每天的发件次数，每天大概只能发10封左右，都没用户的邮箱域名了，还做这么多限制，正所谓不作死就不会死。
永别21cn
永别21cn
可转债正股的PB<1时，可转债不可以下调转股价
“修正后的转股价格应不低于审议上述方案的股东大会召开日前二十个交易日公司A股股票交易均价，同时修正后的转股价格不低于最近一期经审计的每股净资产和股票面值。”
这是大部分转债“转股价格特别修正条款”的标准表述。
这是大部分转债“转股价格特别修正条款”的标准表述。
批量获取Grequests返回内容
Grequests是一个异步requests的封装库。
如何批量获取Grequests返回内容？
注意，上面的写法是错误的！！！！！！
grequests.get只能接受url！！！ 不能放入一个函数。
正确的写法：
具体的对response内容操作放入到market_watch函数中。
收起阅读 »
如何批量获取Grequests返回内容？
import grequests
import requests
import bs4
def simple_request(url):
page = requests.get(url)
return page
urls = [
'http://www.heroku.com',
'http://python-tablib.org',
'http://httpbin.org',
'http://python-requests.org',
'http://kennethreitz.com'
]
rs = [grequests.get(simple_request(u)) for u in urls]
grequests.map(rs)
注意，上面的写法是错误的！！！！！！
grequests.get只能接受url！！！ 不能放入一个函数。
正确的写法：
rs = (grequests.get(u) for u in urls)
requests = grequests.map(rs)
for response in requests:
market_watch(response.content)
具体的对response内容操作放入到market_watch函数中。
收起阅读 »
工具与网站分享 <转>
技术站点
Hacker News：非常棒的针对编程的链接聚合网站
Programming reddit：同上
MSDN：微软相关的官方技术集中地，主要是文档类
infoq：企业级应用，关注软件开发领域
OSChina：开源技术社区，开源方面做的不错哦
cnblogs，51cto，csdn：常见的技术社区，各有专长
stackoverflow：IT技术问答网站
GitHub：全球最大的源代码管理平台，很多知名开源项目都在上面，如Linux内核，
OpenStack等免费的it电子书：http://it-ebooks.info/
DevStore:开发者服务商店
不错的书籍
人件
人月神话
代码大全2
计算机程序设计艺术
程序员的自我修养
程序员修炼之道
高效能程序员的修炼（成为一名杰出的程序员其实跟写代码没有太大关系）
深入理解计算机系统
软件随想录
算法导论（麻省理工学院出版社）
离线数学及其应用
设计模式
编程之美
黑客与画家
编程珠玑
C++ Prime
Effective C++
TCP/IP详解
Unix 编程艺术
《精神分析引论》弗洛伊德
搞定：无压力工作的艺术
平台工具（都是开源的好东东哦）
Redmine/Trac：项目管理平台
Jenkins/Jira(非开源)：持续集成系统（Apache Continuum，这个是Apache下的CI系统，还没来得及研究）
Sonar：代码质量管理平台
git，svn：源代码版本控制系统
GitLib/Gitorious：构建自己的GitHub服务器
gitbook：https://www.gitbook.io/写书的好东西，当然用来写文档也很不错的
Travis-ci：开源项目持续集成必备，和GitHub相结合，https://travis-ci.org/
开源测试工具、社区（Selenium、OpenQA.org）
Puppet:一个自动管理引擎，可以适用于Linux、Unix以及Windows平台。所谓配置管理系统，就是管理机器里面诸如文件、用户、进程、软件包这些资源。无论是管理1台，还是上万台机器Puppet都能轻松搞定。
Nagios：系统状态监控报警，还有个Icinga(完全兼容nagios所有的插件,工作原理,配置文件以及方法,几乎一模一样。配置简单,功能强大)
Ganglia：分布式监控系统
fleet：分布式init系统
爬虫相关(好玩的工具)
Phantomjs
berserkJS(基于Phantomjs的改进版本)
SlimerJS
CasperJS
selenium
Web 服务器性能/压力测试工具/负载均衡器
http_load: 程序非常小，解压后也不到100K
webbench: 是Linux下的一个网站压力测试工具，最多可以模拟3万个并发连接去测试网站的负载能力
ab: ab是apache自带的一款功能强大的测试工具
Siege: 一款开源的压力测试工具，可以根据配置对一个WEB站点进行多用户的并发访问，记录每个用户所有请求过程的相应时间，并在一定数量的并发访问下重复进行。
squid（前端缓存），nginx（负载），nodejs（没错它也可以，自己写点代码就能实现高性能的负载均衡器）：常用的负载均衡器
Piwik：开源网站访问量统计系统
ClickHeat：开源的网站点击情况热力图
HAProxy：高性能TCP /HTTP负载均衡器
ElasticSearch：搜索引擎基于Lucene
Page Speed SDK和YSLOW
HAR Viewer: HAR分析工具
protractor：E2E（end to end）自动化测试工具
Web 前端相关
GRUNT: js task runner
Sea.js: js模块化
knockout.js：MVVM开发前台，绑定技术
Angular.js: 使用超动感HTML & JS开发WEB应用！
Highcharts.js，Flot:常用的Web图表插件
Raw：非常不错的一款高级数据可视化工具
Rickshaw:时序图标库，可用于构建实时图表
JavaScript InfoVis Toolkit：另一款Web数据可视化插件
Pdf.js，在html中展现pdf
ACE，CodeMirror：Html代码编辑器（ACE甚好啊）
NProcess：绚丽的加载进度条
impress.js：让你制作出令人眩目的内容展示效果(类似的还有reveal)
Threejs：3DWeb库
Hightopo：基于Html5的2D、3D可视化UI库
jQuery.dataTables.js:高度灵活的表格插件
Raphaël：js，canvas绘图库，后来发现百度指数的图形就是用它绘出来的
director.js：js路由模块，前端路由，Nodejs后端路由等，适合构造单页应用
pace.js：页面加载进度条
bower：Web包管理器
jsnice：有趣的js反编译工具，猜压缩后的变量名 http://www.jsnice.org/
D3.js: 是一个基于JavaScript数据展示库（类似的还有P5.js）
Zepto.js：移动端替代jQuery的东东，当然也可以使用jquery-mobile.
UI框架：Foundation，Boostrap，Pure，EasyUI，Polymer
前端UI设计师必去的几个网站：Dribbble，awwwards，unmatchedstyle，UIMaker
Mozilla 开发者中心：https://developer.mozilla.org/en-US/
图标资源：IcoMoon（我的最爱），Themify Icons，FreePik，Glyphiconsart
Dialog:非常漂亮的对话框
AdminLTE：github上的一个开源项目，基于Boostrap3的后台管理页面框架
Respond.js：让不懂爱的IE6-8支持响应式设计
require.js: js模块加载库
select2：比chosen具有更多特性的选择框替代库
AngularUI：集成angular.js的UI库
normalize.css: 采用了现代化标准让各浏览器渲染出的html保持一致的库
CreateJS：Html5游戏引擎Less,Compass:简化CSS开发
emojify.js:用于自动识别网页上的Emoji文字并将其显示为图像
simditor:一个不错的开源的html编辑器，简洁高效
Sencha: 基于html5的移动端开发框架
SuperScrollorama+TweenMax+skrollr:打造超酷的视差滚动效果网页动画
jquery-smooth-scroll:同上，平滑滚动插件
Animate.css:实现了各种动画效果的css库
Emmet:前端工程师必备，ZenCode的前身
MagicDraw:Uml图工具
大数据处理/数据分析/分布式工具
Hadoop：分布式的文件系统，结合其MapReduce编程模型可以用来做海量数据的批处理（Hive，Pig，HBase啥的就不说了），值得介绍的是Cloudera的Hadoop分支CDH5，基于YARN MRv2集成了Spark可直接用于生产环境的Hadoop，对于企业快速构建数据仓库非常有用。
Ceph:Linux分布式文件系统（特点：无中心）
Storm：实时流数据处理，可以看下IBM的一篇介绍 （还有个Yahoo的S4，也是做流数据处理的）
Spark：大规模流式数据处理（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询（interactive query）；基于实时数据流的数据处理（streaming data processing）），CSND有篇文章介绍的不错
Spark Streaming：基于Spark的实时计算框架
Tachyon：分布式内存文件系统
Mesos：计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享Impala：新一代开源大数据分析引擎，提供Sql语义，比- Hive强在速度上
SNAPPY：快速的数据压缩系统，适用于Hadoop生态系统中
Kafka:高吞吐量的分布式消息队列系统
ActiveMQ:是Apache出品，最流行的，能力强劲的开源消息总线
MQTT:Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组成部分
RabbitMQ：记得OpenStack就是用的这个东西吧
ZeroMQ：宣称是将分布式计算变得更简单，是个分布式消息队列，可以看下云风的一篇文章的介绍开源的日志收集系统：scribe、chukwa、kafka、flume。这有一篇对比文章
Zookeeper：可靠的分布式协调的开源项目
Databus：LinkedIn 实时低延迟数据抓取系统
数据源获取：Flume、Google Refine、Needlebase、ScraperWiki、BloomReach
序列化技术：JSON、BSON、Thrift、Avro、Google Protocol Buffers
NoSql：Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
MapReduce相关：Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
数据处理：R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、TinkerpopNLP自然语言处理：Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais
机器学习：WEKA、Mahout、scikits.learn、SkyTree
可视化技术：GraphViz、Processing、Protovis、Google Fusion Tables、Tableau、Highcharts、EChats（百度的还不错）、Raphaël.js
Kettle：开源的ETL工具
Pentaho：以工作流为核心的开源BI系统
Mondrian：开源的Rolap服务器
Oozie：开源hadoop的工作流调度引擎
开源的数据分析可视化工具：Weka、Orange、KNIME
Cobar：阿里巴巴的MySql分布式中间件
C & C++
Thrift:用来进行可扩展且跨语言的服务的开发(类似的还有个Avro，Google protobuf)。
libevent:是一个事件触发的网络库，适用于windows、linux、bsd等多种平台，内部使用select、epoll、kqueue等系统调用管理事件机制。（对了还有个libev呢）
Boost:不多说了，准C++标准库
Ptmalloc\Valgrind\Purify
NetworkServer架构：acceptor->dispatcher->worker(这个不算工具哦)
breakpad:崩溃转储和分析模块，很多crashreport会用到
UI界面相关：MFC、BCG和QT这类的就不说了，高端一点的还有Html和DirectUI技术：libcef（基于chrome内核的，想想使用html5开发页面，还真有点小激动呢）、HtmlLayout、Duilib、Bolt，非C++的，还有node-webkit也不错，集成了node和webkit内核。
游戏开发相关
MINA：使用Java开发手游和页游服务器(对了还有Netty，也很猛的，都是基于NIO的)
HP-Socket：见有有些页游服务器使用这个构建的
云风的技术博客：http://blog.codingnow.com/
OGRE：大名鼎鼎的3D图形渲染引擎
OpenVDB：梦工厂C++的特效库，开源的
cocos2d：跨平台2D游戏引擎
unity3d：跨平台3D游戏引擎，很火的哦
Nodejs：也有不少使用它来开发手游和也有服务器（网易的Pomelo就是哦）
日志聚合，分布式日志收集
Scribe：Facebook的（nodejs + scribe + inotify 同步日志）
logstash:强大的日志收集系统，可以基于logstash+kibana+elasticsearch+redis开发强大的日志分析平台
log.io: nodejs开发的实时日志收集系统
RTP,实时传输协议与音视频
RTP，RTCP，RTSP-> librtp，JRTPLIB(遵循了RFC1889标准)
环形缓冲区，实时数据传输用
SDL,ffmpeg,live555,Speex
Red5:用Java开发开源的Flash流媒体服务器。它支持：把音频（MP3）和视频（FLV）转换成播放流； 录制客户端播放流（只支持FLV）；共享对象；现场直播流发布；远程调用。
Python
Eric,Eclipse+pydev,比较不错的Python IDE
PyWin:Win32 api编程包
numpy:科学计算包，主要用来处理大型矩阵计算等，此外还有SciPy，Matplotlib
GUI相关：PyQt，PyQwt
supervisor:进程监控工具
Java相关
常用的IDE：IntelliJ IDEA，Eclipse，Netbeans
Web开发相关：Tomcat、Resin、Jetty、WebLogic等，常用的组件Struts，Spring
HibernateNetty: 异步事件驱动网络应用编程框架，用于高并发网络编程比较好（NIO框架）
MINA：简单地开发高性能和高可靠性的网络应用程序（也是个NIO框架），不少手游服务端是用它开发的
jOOQ：java Orm框架Activiti:工作流引擎，类似的还有jBPM、Snaker
Perfuse:是一个用户界面包用来把有结构与无结构数据以具有交互性的可视化图形展示出来.
Gephi:复杂网络分析软件, 其主要用于各种网络和复杂系统，动态和分层图的交互可视化与探测开源工具
Nutch:知名的爬虫项目，hadoop就是从这个项目中发展出来的
web-harvest：Web数据提取工具
POM工具：Maven+ArtifactoryNetflix
Curator：Netflix公司开源的一个Zookeeper client library，用于简化Zookeeper客户端编程
Akka:一款基于actor模型实现的 并发处理框架
EclEmma：覆盖测试工具
.net相关
Xilium.CefGlue:基于CEF框架的.NET封装，基于.NET开发Chrome内核浏览器
CefSharp：同上，有一款WebKit的封装，C#和Js交互会更简单
netz:免费的 .NET 可执行文件压缩工具
SmartAssembly:变态的.net代码优化混淆工具
NETDeob0：.net反混淆工具，真是魔高一尺道高一丈啊(还有个de4dot，在GitHub上，都是开源的)
ILMerge：将所有引用的DLL和exe文件打成一个exe文件
ILSpy:开源.net程序反编译工具
Javascript.NET：很不错的js执行引擎，对v8做了封装
NPOI: Excel操作
DotRAS:远程访问服务的模块
WinHtmlEditor: Winform下的html编辑器
SmartThreadPool:使用C#实现的，带高级特性的线程池
Snoop: WPF Spy Utility
Autofac: 轻量级IoC框架
HtmlAgilityPack：Html解析利器
Quartz.NET：Job调度
HttpLib：@CodePlex，简化http请求
SuperSocket：简化Socket操作，基于他的还有个SuperWebSocket，可以开发独立的WebSocket服务器了
DocX：未安装Office的情况下操作Word文件
Dapper：轻量级的ORM类，性能不错
HubbleDotNet：支持接入数据库的全文搜索系统
fastJSON：@CodeProject，高性能的json序列化类
ZXing.NET：@CodePlex，QR，条形码相关
Nancy：轻量级Http服务器，做个小型的Web应用可以摆脱IIS喽(Nancy.Viewengines.Razor,可以加入Razor引擎)
AntiXSS：微软的XSS防御库Microsoft Web Protection
LibraryJint：JavaScript解释器
CS-Script：将C#代码文件作为脚本执行
Jexus：Linux下 高性能、易用、免费的ASP.NET服务器
Clay：将dynamic发挥的更加灵活，像写js一样写C#
DynamicJSON：不必定义数据模型获取json数据
Antlr：开源的语法分析器（归到C#不太合适，其他语言也可以去用）
SharpPcap：C#版的WinPcap调用端，牛逼的网络包分析库（自带PacketNotNet用于包协议分析）
Roslyn：C#，VB编译器
ImageResizer: 服务端自由控制图片大小，真乃神器也，对手机端传小图，PC端传大图，CMS用它很方便
UI相关：DevExpress, Fluent(Office 07风格), mui（Modern UI for WPF）
NetSparkle：应用自动更新组件
ConfuserEx: 开源.net混淆工具
ServiceStack: 开源高性能Web服务框架，可用于构建高性能的REST服务Expression
Evaluator：Eval for C#,处理字符串表达式
http://nugetmusthaves.com/
常用工具
Fiddler：非常好用的Web前端调试工具，当然是针对底层http协议的，一般情况使用Chrome等自带的调试工具也足够了，特殊情况还得用它去处理
wireshark：知名的网络数据包分析工具
PowerCmd:替代Windows Cmd的利器
RegexBuddy:强大的正则表达式测试工具
Soure Insight：源代码阅读神器
SublimeText：程序员最爱的编辑器
Database.NET：一个通用的关系型数据库客户端，基于.NET 4.0开发的，做简单的处理还是蛮方便的
Navicat Premium：支持MySql、PostgreSQL、Oracle、Sqlite和SQL Server的客户端，通用性上不如
Database.NET，但性能方面比Database.NET好很多，自带备份功能也用于数据库定时备份。
Synergy : 局域网内一套键盘鼠标控制多台电脑
DameWare：远程协助工具集（我在公司主要控制大屏幕用）
Radmin: 远程控制工具，用了一段时间的
DameWare，还要破解，对Win7支持的不好，还是发现这个好用
Listary：能极大幅度提高你 Windows 文件浏览与搜索速度效率的「超级神器」
Clover：给资源管理器加上多标签
WinLaunch：模拟Mac OS的Launch工具
Fritzing：绘制电路图
LICEcap：gif教程制作git，
svn：版本控制系统Enigma Virtual Box（将exe，dll等封装成一个可执行程序）
Open DBDiff(针对SqlServer)数据库同步
SymmetricDS：数据库同步
BIEE,Infomatica，SPSS，weka，R语言：数据分析
CodeSmith，LightSwitch：代码生成
Pandoc：Markdown转换工具，出书用的。以前玩过docbook，不过现在还是Markdown盛行啊。
Window Magnet[Mac]：增强Mac窗口管理功能，想Win7一样具有窗口拖放到屏幕边缘自动调整的功能
log explorer：查看SqlServer日志dependency
walker：查询Windows应用程序dll依赖项
Shairport4w：将iPhone，iPad，iPod上的音频通过AirPlay协议传输到PC上
ngrok：内网穿透工具Axure:快速原型制作工具，还有个在线作图的工具国内的一个创业团队做的，用着很不错 http://www.processon.com
tinyproxy:（Linux）小型的代理服务器支持http和https协议EaseUS Partition
Master：超级简单的分区调整工具，速度还是蛮快的，C盘不够用了就用它从D盘划点空间吧，不用重装系统这么折腾哦。
CheatEngine：玩游戏修改内存值必备神器（记得我在玩轩辕剑6的时候就用的它，超级方便呢）
ApkIDE:Android反编译神器翻、墙工具（自|由|门、天行浏览器）
设计工具：Sketch、OmniGraffle
MindManger：思维导图 收起阅读 »
Hacker News：非常棒的针对编程的链接聚合网站
Programming reddit：同上
MSDN：微软相关的官方技术集中地，主要是文档类
infoq：企业级应用，关注软件开发领域
OSChina：开源技术社区，开源方面做的不错哦
cnblogs，51cto，csdn：常见的技术社区，各有专长
stackoverflow：IT技术问答网站
GitHub：全球最大的源代码管理平台，很多知名开源项目都在上面，如Linux内核，
OpenStack等免费的it电子书：http://it-ebooks.info/
DevStore:开发者服务商店
不错的书籍
人件
人月神话
代码大全2
计算机程序设计艺术
程序员的自我修养
程序员修炼之道
高效能程序员的修炼（成为一名杰出的程序员其实跟写代码没有太大关系）
深入理解计算机系统
软件随想录
算法导论（麻省理工学院出版社）
离线数学及其应用
设计模式
编程之美
黑客与画家
编程珠玑
C++ Prime
Effective C++
TCP/IP详解
Unix 编程艺术
《精神分析引论》弗洛伊德
搞定：无压力工作的艺术
平台工具（都是开源的好东东哦）
Redmine/Trac：项目管理平台
Jenkins/Jira(非开源)：持续集成系统（Apache Continuum，这个是Apache下的CI系统，还没来得及研究）
Sonar：代码质量管理平台
git，svn：源代码版本控制系统
GitLib/Gitorious：构建自己的GitHub服务器
gitbook：https://www.gitbook.io/写书的好东西，当然用来写文档也很不错的
Travis-ci：开源项目持续集成必备，和GitHub相结合，https://travis-ci.org/
开源测试工具、社区（Selenium、OpenQA.org）
Puppet:一个自动管理引擎，可以适用于Linux、Unix以及Windows平台。所谓配置管理系统，就是管理机器里面诸如文件、用户、进程、软件包这些资源。无论是管理1台，还是上万台机器Puppet都能轻松搞定。
Nagios：系统状态监控报警，还有个Icinga(完全兼容nagios所有的插件,工作原理,配置文件以及方法,几乎一模一样。配置简单,功能强大)
Ganglia：分布式监控系统
fleet：分布式init系统
爬虫相关(好玩的工具)
Phantomjs
berserkJS(基于Phantomjs的改进版本)
SlimerJS
CasperJS
selenium
Web 服务器性能/压力测试工具/负载均衡器
http_load: 程序非常小，解压后也不到100K
webbench: 是Linux下的一个网站压力测试工具，最多可以模拟3万个并发连接去测试网站的负载能力
ab: ab是apache自带的一款功能强大的测试工具
Siege: 一款开源的压力测试工具，可以根据配置对一个WEB站点进行多用户的并发访问，记录每个用户所有请求过程的相应时间，并在一定数量的并发访问下重复进行。
squid（前端缓存），nginx（负载），nodejs（没错它也可以，自己写点代码就能实现高性能的负载均衡器）：常用的负载均衡器
Piwik：开源网站访问量统计系统
ClickHeat：开源的网站点击情况热力图
HAProxy：高性能TCP /HTTP负载均衡器
ElasticSearch：搜索引擎基于Lucene
Page Speed SDK和YSLOW
HAR Viewer: HAR分析工具
protractor：E2E（end to end）自动化测试工具
Web 前端相关
GRUNT: js task runner
Sea.js: js模块化
knockout.js：MVVM开发前台，绑定技术
Angular.js: 使用超动感HTML & JS开发WEB应用！
Highcharts.js，Flot:常用的Web图表插件
Raw：非常不错的一款高级数据可视化工具
Rickshaw:时序图标库，可用于构建实时图表
JavaScript InfoVis Toolkit：另一款Web数据可视化插件
Pdf.js，在html中展现pdf
ACE，CodeMirror：Html代码编辑器（ACE甚好啊）
NProcess：绚丽的加载进度条
impress.js：让你制作出令人眩目的内容展示效果(类似的还有reveal)
Threejs：3DWeb库
Hightopo：基于Html5的2D、3D可视化UI库
jQuery.dataTables.js:高度灵活的表格插件
Raphaël：js，canvas绘图库，后来发现百度指数的图形就是用它绘出来的
director.js：js路由模块，前端路由，Nodejs后端路由等，适合构造单页应用
pace.js：页面加载进度条
bower：Web包管理器
jsnice：有趣的js反编译工具，猜压缩后的变量名 http://www.jsnice.org/
D3.js: 是一个基于JavaScript数据展示库（类似的还有P5.js）
Zepto.js：移动端替代jQuery的东东，当然也可以使用jquery-mobile.
UI框架：Foundation，Boostrap，Pure，EasyUI，Polymer
前端UI设计师必去的几个网站：Dribbble，awwwards，unmatchedstyle，UIMaker
Mozilla 开发者中心：https://developer.mozilla.org/en-US/
图标资源：IcoMoon（我的最爱），Themify Icons，FreePik，Glyphiconsart
Dialog:非常漂亮的对话框
AdminLTE：github上的一个开源项目，基于Boostrap3的后台管理页面框架
Respond.js：让不懂爱的IE6-8支持响应式设计
require.js: js模块加载库
select2：比chosen具有更多特性的选择框替代库
AngularUI：集成angular.js的UI库
normalize.css: 采用了现代化标准让各浏览器渲染出的html保持一致的库
CreateJS：Html5游戏引擎Less,Compass:简化CSS开发
emojify.js:用于自动识别网页上的Emoji文字并将其显示为图像
simditor:一个不错的开源的html编辑器，简洁高效
Sencha: 基于html5的移动端开发框架
SuperScrollorama+TweenMax+skrollr:打造超酷的视差滚动效果网页动画
jquery-smooth-scroll:同上，平滑滚动插件
Animate.css:实现了各种动画效果的css库
Emmet:前端工程师必备，ZenCode的前身
MagicDraw:Uml图工具
大数据处理/数据分析/分布式工具
Hadoop：分布式的文件系统，结合其MapReduce编程模型可以用来做海量数据的批处理（Hive，Pig，HBase啥的就不说了），值得介绍的是Cloudera的Hadoop分支CDH5，基于YARN MRv2集成了Spark可直接用于生产环境的Hadoop，对于企业快速构建数据仓库非常有用。
Ceph:Linux分布式文件系统（特点：无中心）
Storm：实时流数据处理，可以看下IBM的一篇介绍 （还有个Yahoo的S4，也是做流数据处理的）
Spark：大规模流式数据处理（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询（interactive query）；基于实时数据流的数据处理（streaming data processing）），CSND有篇文章介绍的不错
Spark Streaming：基于Spark的实时计算框架
Tachyon：分布式内存文件系统
Mesos：计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享Impala：新一代开源大数据分析引擎，提供Sql语义，比- Hive强在速度上
SNAPPY：快速的数据压缩系统，适用于Hadoop生态系统中
Kafka:高吞吐量的分布式消息队列系统
ActiveMQ:是Apache出品，最流行的，能力强劲的开源消息总线
MQTT:Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组成部分
RabbitMQ：记得OpenStack就是用的这个东西吧
ZeroMQ：宣称是将分布式计算变得更简单，是个分布式消息队列，可以看下云风的一篇文章的介绍开源的日志收集系统：scribe、chukwa、kafka、flume。这有一篇对比文章
Zookeeper：可靠的分布式协调的开源项目
Databus：LinkedIn 实时低延迟数据抓取系统
数据源获取：Flume、Google Refine、Needlebase、ScraperWiki、BloomReach
序列化技术：JSON、BSON、Thrift、Avro、Google Protocol Buffers
NoSql：Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
MapReduce相关：Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
数据处理：R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、TinkerpopNLP自然语言处理：Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais
机器学习：WEKA、Mahout、scikits.learn、SkyTree
可视化技术：GraphViz、Processing、Protovis、Google Fusion Tables、Tableau、Highcharts、EChats（百度的还不错）、Raphaël.js
Kettle：开源的ETL工具
Pentaho：以工作流为核心的开源BI系统
Mondrian：开源的Rolap服务器
Oozie：开源hadoop的工作流调度引擎
开源的数据分析可视化工具：Weka、Orange、KNIME
Cobar：阿里巴巴的MySql分布式中间件
C & C++
Thrift:用来进行可扩展且跨语言的服务的开发(类似的还有个Avro，Google protobuf)。
libevent:是一个事件触发的网络库，适用于windows、linux、bsd等多种平台，内部使用select、epoll、kqueue等系统调用管理事件机制。（对了还有个libev呢）
Boost:不多说了，准C++标准库
Ptmalloc\Valgrind\Purify
NetworkServer架构：acceptor->dispatcher->worker(这个不算工具哦)
breakpad:崩溃转储和分析模块，很多crashreport会用到
UI界面相关：MFC、BCG和QT这类的就不说了，高端一点的还有Html和DirectUI技术：libcef（基于chrome内核的，想想使用html5开发页面，还真有点小激动呢）、HtmlLayout、Duilib、Bolt，非C++的，还有node-webkit也不错，集成了node和webkit内核。
游戏开发相关
MINA：使用Java开发手游和页游服务器(对了还有Netty，也很猛的，都是基于NIO的)
HP-Socket：见有有些页游服务器使用这个构建的
云风的技术博客：http://blog.codingnow.com/
OGRE：大名鼎鼎的3D图形渲染引擎
OpenVDB：梦工厂C++的特效库，开源的
cocos2d：跨平台2D游戏引擎
unity3d：跨平台3D游戏引擎，很火的哦
Nodejs：也有不少使用它来开发手游和也有服务器（网易的Pomelo就是哦）
日志聚合，分布式日志收集
Scribe：Facebook的（nodejs + scribe + inotify 同步日志）
logstash:强大的日志收集系统，可以基于logstash+kibana+elasticsearch+redis开发强大的日志分析平台
log.io: nodejs开发的实时日志收集系统
RTP,实时传输协议与音视频
RTP，RTCP，RTSP-> librtp，JRTPLIB(遵循了RFC1889标准)
环形缓冲区，实时数据传输用
SDL,ffmpeg,live555,Speex
Red5:用Java开发开源的Flash流媒体服务器。它支持：把音频（MP3）和视频（FLV）转换成播放流； 录制客户端播放流（只支持FLV）；共享对象；现场直播流发布；远程调用。
Python
Eric,Eclipse+pydev,比较不错的Python IDE
PyWin:Win32 api编程包
numpy:科学计算包，主要用来处理大型矩阵计算等，此外还有SciPy，Matplotlib
GUI相关：PyQt，PyQwt
supervisor:进程监控工具
Java相关
常用的IDE：IntelliJ IDEA，Eclipse，Netbeans
Web开发相关：Tomcat、Resin、Jetty、WebLogic等，常用的组件Struts，Spring
HibernateNetty: 异步事件驱动网络应用编程框架，用于高并发网络编程比较好（NIO框架）
MINA：简单地开发高性能和高可靠性的网络应用程序（也是个NIO框架），不少手游服务端是用它开发的
jOOQ：java Orm框架Activiti:工作流引擎，类似的还有jBPM、Snaker
Perfuse:是一个用户界面包用来把有结构与无结构数据以具有交互性的可视化图形展示出来.
Gephi:复杂网络分析软件, 其主要用于各种网络和复杂系统，动态和分层图的交互可视化与探测开源工具
Nutch:知名的爬虫项目，hadoop就是从这个项目中发展出来的
web-harvest：Web数据提取工具
POM工具：Maven+ArtifactoryNetflix
Curator：Netflix公司开源的一个Zookeeper client library，用于简化Zookeeper客户端编程
Akka:一款基于actor模型实现的 并发处理框架
EclEmma：覆盖测试工具
.net相关
Xilium.CefGlue:基于CEF框架的.NET封装，基于.NET开发Chrome内核浏览器
CefSharp：同上，有一款WebKit的封装，C#和Js交互会更简单
netz:免费的 .NET 可执行文件压缩工具
SmartAssembly:变态的.net代码优化混淆工具
NETDeob0：.net反混淆工具，真是魔高一尺道高一丈啊(还有个de4dot，在GitHub上，都是开源的)
ILMerge：将所有引用的DLL和exe文件打成一个exe文件
ILSpy:开源.net程序反编译工具
Javascript.NET：很不错的js执行引擎，对v8做了封装
NPOI: Excel操作
DotRAS:远程访问服务的模块
WinHtmlEditor: Winform下的html编辑器
SmartThreadPool:使用C#实现的，带高级特性的线程池
Snoop: WPF Spy Utility
Autofac: 轻量级IoC框架
HtmlAgilityPack：Html解析利器
Quartz.NET：Job调度
HttpLib：@CodePlex，简化http请求
SuperSocket：简化Socket操作，基于他的还有个SuperWebSocket，可以开发独立的WebSocket服务器了
DocX：未安装Office的情况下操作Word文件
Dapper：轻量级的ORM类，性能不错
HubbleDotNet：支持接入数据库的全文搜索系统
fastJSON：@CodeProject，高性能的json序列化类
ZXing.NET：@CodePlex，QR，条形码相关
Nancy：轻量级Http服务器，做个小型的Web应用可以摆脱IIS喽(Nancy.Viewengines.Razor,可以加入Razor引擎)
AntiXSS：微软的XSS防御库Microsoft Web Protection
LibraryJint：JavaScript解释器
CS-Script：将C#代码文件作为脚本执行
Jexus：Linux下 高性能、易用、免费的ASP.NET服务器
Clay：将dynamic发挥的更加灵活，像写js一样写C#
DynamicJSON：不必定义数据模型获取json数据
Antlr：开源的语法分析器（归到C#不太合适，其他语言也可以去用）
SharpPcap：C#版的WinPcap调用端，牛逼的网络包分析库（自带PacketNotNet用于包协议分析）
Roslyn：C#，VB编译器
ImageResizer: 服务端自由控制图片大小，真乃神器也，对手机端传小图，PC端传大图，CMS用它很方便
UI相关：DevExpress, Fluent(Office 07风格), mui（Modern UI for WPF）
NetSparkle：应用自动更新组件
ConfuserEx: 开源.net混淆工具
ServiceStack: 开源高性能Web服务框架，可用于构建高性能的REST服务Expression
Evaluator：Eval for C#,处理字符串表达式
http://nugetmusthaves.com/
常用工具
Fiddler：非常好用的Web前端调试工具，当然是针对底层http协议的，一般情况使用Chrome等自带的调试工具也足够了，特殊情况还得用它去处理
wireshark：知名的网络数据包分析工具
PowerCmd:替代Windows Cmd的利器
RegexBuddy:强大的正则表达式测试工具
Soure Insight：源代码阅读神器
SublimeText：程序员最爱的编辑器
Database.NET：一个通用的关系型数据库客户端，基于.NET 4.0开发的，做简单的处理还是蛮方便的
Navicat Premium：支持MySql、PostgreSQL、Oracle、Sqlite和SQL Server的客户端，通用性上不如
Database.NET，但性能方面比Database.NET好很多，自带备份功能也用于数据库定时备份。
Synergy : 局域网内一套键盘鼠标控制多台电脑
DameWare：远程协助工具集（我在公司主要控制大屏幕用）
Radmin: 远程控制工具，用了一段时间的
DameWare，还要破解，对Win7支持的不好，还是发现这个好用
Listary：能极大幅度提高你 Windows 文件浏览与搜索速度效率的「超级神器」
Clover：给资源管理器加上多标签
WinLaunch：模拟Mac OS的Launch工具
Fritzing：绘制电路图
LICEcap：gif教程制作git，
svn：版本控制系统Enigma Virtual Box（将exe，dll等封装成一个可执行程序）
Open DBDiff(针对SqlServer)数据库同步
SymmetricDS：数据库同步
BIEE,Infomatica，SPSS，weka，R语言：数据分析
CodeSmith，LightSwitch：代码生成
Pandoc：Markdown转换工具，出书用的。以前玩过docbook，不过现在还是Markdown盛行啊。
Window Magnet[Mac]：增强Mac窗口管理功能，想Win7一样具有窗口拖放到屏幕边缘自动调整的功能
log explorer：查看SqlServer日志dependency
walker：查询Windows应用程序dll依赖项
Shairport4w：将iPhone，iPad，iPod上的音频通过AirPlay协议传输到PC上
ngrok：内网穿透工具Axure:快速原型制作工具，还有个在线作图的工具国内的一个创业团队做的，用着很不错 http://www.processon.com
tinyproxy:（Linux）小型的代理服务器支持http和https协议EaseUS Partition
Master：超级简单的分区调整工具，速度还是蛮快的，C盘不够用了就用它从D盘划点空间吧，不用重装系统这么折腾哦。
CheatEngine：玩游戏修改内存值必备神器（记得我在玩轩辕剑6的时候就用的它，超级方便呢）
ApkIDE:Android反编译神器翻、墙工具（自|由|门、天行浏览器）
设计工具：Sketch、OmniGraffle
MindManger：思维导图 收起阅读 »
python3 列表推导式 vs map 差别
（针对python3，因为python3的map返回的是一个map对象，属于生成器）
速度：
如果map里面是用的lambda，那么map速度会比列表推导式要慢，正常情况map速度稍微快那么一点点。
使用lambda
因为map返回的是生成器，所以map对于大容量的操作，不会导致内存爆掉。
而列表推导式则会爆内存，不过也有解决方案，就是使用（）替代【】，这时返回的是生成器推导式
如果换成map就不会有问题
或者
原创文章，转载请注明：
http://30daydo.com/article/378
收起阅读 »
速度：
如果map里面是用的lambda，那么map速度会比列表推导式要慢，正常情况map速度稍微快那么一点点。
$ python -mtimeit -s'xs=range(10)' 'map(hex, xs)'可以看到map稍微快一些
100000 loops, best of 3: 4.86 usec per loop
$ python -mtimeit -s'xs=range(10)' '[hex(x) for x in xs]'
100000 loops, best of 3: 5.58 usec per loop
使用lambda
$ python -mtimeit -s'xs=range(10)' 'map(lambda x: x+2, xs)'列表推导式稍微快些。
100000 loops, best of 3: 4.24 usec per loop
$ python -mtimeit -s'xs=range(10)' '[x+2 for x in xs]'
100000 loops, best of 3: 2.32 usec per loop
因为map返回的是生成器，所以map对于大容量的操作，不会导致内存爆掉。
而列表推导式则会爆内存，不过也有解决方案，就是使用（）替代【】，这时返回的是生成器推导式
>>> [str(n) for n in range(10**100)]谨慎运行上面的，你电脑会卡到爆如果换成map就不会有问题
>>> map(str, range(10**100))
<map object at 0x2201d50>
或者
>>> (str(n) for n in range(10**100))也不会有问题。
<generator object <genexpr> at 0xacbdef>
原创文章，转载请注明：
http://30daydo.com/article/378
收起阅读 »
对自己狠一点 每天要早起
各位早起30天完成新事情的小伙伴们，大上好！我是逆舞之蝶，非常荣幸收到格格的邀请，来给大家做一次关于早起的分享。很开心有这样的一个机会，也希望借这个机会可以和大家一起学习。
关于早起，现在已经被越来越多的人所推崇，越来越多的人已经开始践行，还有越来越多的人也想参与进来。那当
我们决定开始早起前，首先要问自己3个问题：1、我为什么要早起？
2、怎样才能早起？
3、早起干什么？
下面我就我个人实践的经验来给大家做一些分享。
一、我为什么要早起？
在我还没有开始4点起床前，我的生活状态基本是：早上起来做早餐、早餐完送孩子上学、上班、下班、去接孩子，回家做饭、辅导孩子功课，讲故事，等一切都收拾妥当后，发现早已经9点多了。自己感觉每天都在争分夺秒，过着打仗一般的生活，我相信很多有孩子的，特别是自己带孩子的妈妈们，特别能感同身受。自己想做的、想学的太多，可属于自己的时间却是那么少。
我试过很多种方法来挤时间学习，比如利用上下班的通勤时间看书听音频，但发现只能看一些比较浅显的书，音频也听的不是很清楚，因为地铁里声音比较嘈杂，特别是早晚高峰期。再比如每晚孩子休息后再学习，但发现自己只要看有深度的书，头脑就开始混沌，学习效率也非常低。后来我通过看一些书，比如《4点起床》、《哈佛凌晨4点半》、吉田穗波的《就因为没时间，才什么都能办到》，反复实践，摸索出适合自己的频率。那就是早起学习，自己早晨学习最不受打扰，学习效率也最高，后来逐渐地把早起时间调整为4点。
二、怎样才能早起？既然决定了早起，那就去做吧，我们很多人可能平时都是7点左右才起床，如果让他突然6点、甚至更早起床，可能会不适应，也有可能会发现自己坚持不下来，断断续续，最终放弃。
我个人的经验是这样的。
第一：保证早睡，这是早起的前提
如果做不到这个前提，那早起也就变得很困难。
比如：我是4点起，那我晚上最晚10点要睡觉。
第二、设定闹钟
对于刚开始实践早起的人来说，肯定是需要设定闹钟的，等后期自己的生物钟固定下来之后，就不需要闹钟，到时候就会自然醒。
我之前公司有一位保洁大叔，他就是每天4点起床，4：30出门跑步1小时，5：30回来吃早饭，6点上班。几十年如一日，早起从不需要闹钟。
我一般会设定2个闹钟：
第一个是早睡的闹钟，因为很多时候我们会因为各种事情而忘记时间，一不小心就过了时间，拖到很晚。比如我决定10点睡，那我会设一个9：50的闹钟，闹钟一响，就会赶紧洗漱准备睡觉。
第二个是早起闹钟：
比如我是4点起床，我会设一个4点的闹钟。
第三：我们设定早起时间时要循序渐进
比如，你原先是早上7：30起床，你一下就把目标设定在4点起床，那第二天你要么是根本起不来，要么是起来了，但一整天精神不是很好。
你可以每次把早起时间向前调整半小时，适应一周后，再向前调整半小时，直到调整为你的理想起床时间。
注意：这里有一个很重要的点，就是不带手机进卧室。
因为带手机进卧室后，你可能会情不自禁地又看手机，过了休息时间，等你意识到的时候，可能已经是半小时之后，如果刷手机太投入的话，可能是1小时之后，然后你很有可能对自己说，要不我调整一下明天早起的时间或者明天我就暂时不早起吧。
特别是周末，我们一到周末，身心就会自动进入放松模式，只要有了这个想法，你便会用各种理由说服自己，比如，“难得周末，该放松了，晚点睡，熬点夜没关系”，显然这样的话，第二天就不能早起了。
我们永远都不要高估了自己的自制力。
如果必须要带的话，也请把手机放在你伸手够不到的地方，这样闹钟一响，你就必须要起床才能关掉。
我个人原先也是用手机设定闹钟，因为我起床比较早，会影响家人。所以后来我就不用手机，用手环，在app里设定好闹钟时间，戴在手上，一到时间，它就会振动，只有自己知道，也不会影响到他人。手环一振动，我便起床，绝不在床上拖延。因为你只要一拖延，可能5分钟就过去，更有可能就又睡着了。
三、早起干什么？
这是重中之重，也是你早起的动力。
我们不是为了早起而早起，如果我们早起了，却没有有效利用，那就枉费了早起。
一定要给自己设定一个清晰的早起目标。有目标，你才会更有动力。
我个人一般早起后，就会打开事先设定好的音频，可以是课程、听书、演讲，中文、英文都可以，最好是有些鼓舞人心，激昂上进的，这样比较容易把你从混沌的状态拉回清醒状态。
然后就是一边听音频，一边洗漱、喝水、做一些简单的拉伸运动，大概15分钟。
一切完毕后，关掉音频，回书房开始晨间学习。这里我建议大家在前一天晚上就列好计划清单，事先准备好，这样早上就可以直接开始，而不需要额外的花时间。
我会把重要的，有难度的事情安排在早上。比如我的晨间一般是深度阅读、学习英语、晨间反思、写文。这边我觉得早起之后要做的事最好是与你未来的某个目标是有关联的。
5：50准备出门跑步，一般跑步30-40分钟。
6：40左右到家，开始做早餐，和家人一起吃早餐，送孩子上学，开始新的一天。
四、早起带来怎样的影响？
首先是对我个人的影响。
最显著的影响就是，早起让我每天比别人多出了时间来学习和运动。
早起的学习效率特别高。每天凌晨4点，外面漆黑一片，到处都是一片安宁，你会有一种仿佛拥有了全世界的感觉。当窗外的天空一点点变亮，而你计划清单上的事项也一项项的完成的时候，那种成就感是无法比拟的。
早起让我有了更多的反思和自省。我会在晨间或者跑步的时候，进行一些反思，总结过去，展望未来，让自己不断的精进。
因为早起，我拥有了一段不被打扰的时间，可以高效地做自己想做的事情，活出升级版的自己。
其次早起对我家人所产生的影响。
因为我喜欢早起，我女儿也深受我影响，喜欢早起。当别的同龄人还需要闹钟或者父母叫才能起床的时候，她已经可以做到每天自己起床，从不需要闹钟。
我先生因为工作的关系，下班都会比较晚。经常是他回来了女儿睡了，或者女儿准备上学了他还没起床，所以缺少很多和女儿交流的机会。再加上女儿早起后喜欢听书，有时候也会打扰他休息。
所以我就和女儿沟通，建议她起床后，可以先看书然后再听书。
我和先生沟通，建议他早睡早起，把晚上的学习，调整到早上，尽量和我们保持同频，这样女儿也不会打扰到他，他和女儿之间也有了更多亲子交流的机会。
当他们践行这一约定的第二天，我跑步回来后，一打开门，就看到女儿在自己的书桌那看书，先生在书房学习，当时我脑海中就出现了一句话，“一切都是美好的样子。”随后的景象便是我在厨房边做早饭边听书，女儿在客厅听书，先生在书房学习，一家人可以在早上一起共享美好时光。现在这样的景象已是我们家的常态。
最后的几点小建议：
1、每个人的情况都是不一样的。
比如我先生，他需要8小时的睡眠时间，而我可能只需要6个多小时。因为这个世界上的确存在一些不需要睡那么久，但精力依然很旺盛的人。所以我们不一定要和别人一样，只要找到适合自己的频率就行。
2、条件允许的前提下，可以给自己每天安排15-20分钟的午睡，它可以让你下午和晚上的工作和学习精力更充沛。
3、早起的前提，一定一定是早睡
如果做不到早睡，一切都是空谈。
我非常喜欢南怀瑾大师的一句话，他说，“能够早起的人，方能控制人生。”
生命太短，没有时间留给遗憾。最后愿大家都能在早起的这段时光里，收获一个不一样的人生。
我今天的分享就到这里，感谢大家的聆听！
PS:非常喜欢今天早起打卡的一段话，“懂得跟过去的自己握手言和，把时间用在进步而不是抱怨上，学会看淡别人的评价，慢慢的变得内心强大，多读书，早些起，然后变得善良、清澈、温暖而有力量。”共勉！
收起阅读 »
关于早起，现在已经被越来越多的人所推崇，越来越多的人已经开始践行，还有越来越多的人也想参与进来。那当
我们决定开始早起前，首先要问自己3个问题：1、我为什么要早起？
2、怎样才能早起？
3、早起干什么？
下面我就我个人实践的经验来给大家做一些分享。
一、我为什么要早起？
在我还没有开始4点起床前，我的生活状态基本是：早上起来做早餐、早餐完送孩子上学、上班、下班、去接孩子，回家做饭、辅导孩子功课，讲故事，等一切都收拾妥当后，发现早已经9点多了。自己感觉每天都在争分夺秒，过着打仗一般的生活，我相信很多有孩子的，特别是自己带孩子的妈妈们，特别能感同身受。自己想做的、想学的太多，可属于自己的时间却是那么少。
我试过很多种方法来挤时间学习，比如利用上下班的通勤时间看书听音频，但发现只能看一些比较浅显的书，音频也听的不是很清楚，因为地铁里声音比较嘈杂，特别是早晚高峰期。再比如每晚孩子休息后再学习，但发现自己只要看有深度的书，头脑就开始混沌，学习效率也非常低。后来我通过看一些书，比如《4点起床》、《哈佛凌晨4点半》、吉田穗波的《就因为没时间，才什么都能办到》，反复实践，摸索出适合自己的频率。那就是早起学习，自己早晨学习最不受打扰，学习效率也最高，后来逐渐地把早起时间调整为4点。
二、怎样才能早起？既然决定了早起，那就去做吧，我们很多人可能平时都是7点左右才起床，如果让他突然6点、甚至更早起床，可能会不适应，也有可能会发现自己坚持不下来，断断续续，最终放弃。
我个人的经验是这样的。
第一：保证早睡，这是早起的前提
如果做不到这个前提，那早起也就变得很困难。
比如：我是4点起，那我晚上最晚10点要睡觉。
第二、设定闹钟
对于刚开始实践早起的人来说，肯定是需要设定闹钟的，等后期自己的生物钟固定下来之后，就不需要闹钟，到时候就会自然醒。
我之前公司有一位保洁大叔，他就是每天4点起床，4：30出门跑步1小时，5：30回来吃早饭，6点上班。几十年如一日，早起从不需要闹钟。
我一般会设定2个闹钟：
第一个是早睡的闹钟，因为很多时候我们会因为各种事情而忘记时间，一不小心就过了时间，拖到很晚。比如我决定10点睡，那我会设一个9：50的闹钟，闹钟一响，就会赶紧洗漱准备睡觉。
第二个是早起闹钟：
比如我是4点起床，我会设一个4点的闹钟。
第三：我们设定早起时间时要循序渐进
比如，你原先是早上7：30起床，你一下就把目标设定在4点起床，那第二天你要么是根本起不来，要么是起来了，但一整天精神不是很好。
你可以每次把早起时间向前调整半小时，适应一周后，再向前调整半小时，直到调整为你的理想起床时间。
注意：这里有一个很重要的点，就是不带手机进卧室。
因为带手机进卧室后，你可能会情不自禁地又看手机，过了休息时间，等你意识到的时候，可能已经是半小时之后，如果刷手机太投入的话，可能是1小时之后，然后你很有可能对自己说，要不我调整一下明天早起的时间或者明天我就暂时不早起吧。
特别是周末，我们一到周末，身心就会自动进入放松模式，只要有了这个想法，你便会用各种理由说服自己，比如，“难得周末，该放松了，晚点睡，熬点夜没关系”，显然这样的话，第二天就不能早起了。
我们永远都不要高估了自己的自制力。
如果必须要带的话，也请把手机放在你伸手够不到的地方，这样闹钟一响，你就必须要起床才能关掉。
我个人原先也是用手机设定闹钟，因为我起床比较早，会影响家人。所以后来我就不用手机，用手环，在app里设定好闹钟时间，戴在手上，一到时间，它就会振动，只有自己知道，也不会影响到他人。手环一振动，我便起床，绝不在床上拖延。因为你只要一拖延，可能5分钟就过去，更有可能就又睡着了。
三、早起干什么？
这是重中之重，也是你早起的动力。
我们不是为了早起而早起，如果我们早起了，却没有有效利用，那就枉费了早起。
一定要给自己设定一个清晰的早起目标。有目标，你才会更有动力。
我个人一般早起后，就会打开事先设定好的音频，可以是课程、听书、演讲，中文、英文都可以，最好是有些鼓舞人心，激昂上进的，这样比较容易把你从混沌的状态拉回清醒状态。
然后就是一边听音频，一边洗漱、喝水、做一些简单的拉伸运动，大概15分钟。
一切完毕后，关掉音频，回书房开始晨间学习。这里我建议大家在前一天晚上就列好计划清单，事先准备好，这样早上就可以直接开始，而不需要额外的花时间。
我会把重要的，有难度的事情安排在早上。比如我的晨间一般是深度阅读、学习英语、晨间反思、写文。这边我觉得早起之后要做的事最好是与你未来的某个目标是有关联的。
5：50准备出门跑步，一般跑步30-40分钟。
6：40左右到家，开始做早餐，和家人一起吃早餐，送孩子上学，开始新的一天。
四、早起带来怎样的影响？
首先是对我个人的影响。
最显著的影响就是，早起让我每天比别人多出了时间来学习和运动。
早起的学习效率特别高。每天凌晨4点，外面漆黑一片，到处都是一片安宁，你会有一种仿佛拥有了全世界的感觉。当窗外的天空一点点变亮，而你计划清单上的事项也一项项的完成的时候，那种成就感是无法比拟的。
早起让我有了更多的反思和自省。我会在晨间或者跑步的时候，进行一些反思，总结过去，展望未来，让自己不断的精进。
因为早起，我拥有了一段不被打扰的时间，可以高效地做自己想做的事情，活出升级版的自己。
其次早起对我家人所产生的影响。
因为我喜欢早起，我女儿也深受我影响，喜欢早起。当别的同龄人还需要闹钟或者父母叫才能起床的时候，她已经可以做到每天自己起床，从不需要闹钟。
我先生因为工作的关系，下班都会比较晚。经常是他回来了女儿睡了，或者女儿准备上学了他还没起床，所以缺少很多和女儿交流的机会。再加上女儿早起后喜欢听书，有时候也会打扰他休息。
所以我就和女儿沟通，建议她起床后，可以先看书然后再听书。
我和先生沟通，建议他早睡早起，把晚上的学习，调整到早上，尽量和我们保持同频，这样女儿也不会打扰到他，他和女儿之间也有了更多亲子交流的机会。
当他们践行这一约定的第二天，我跑步回来后，一打开门，就看到女儿在自己的书桌那看书，先生在书房学习，当时我脑海中就出现了一句话，“一切都是美好的样子。”随后的景象便是我在厨房边做早饭边听书，女儿在客厅听书，先生在书房学习，一家人可以在早上一起共享美好时光。现在这样的景象已是我们家的常态。
最后的几点小建议：
1、每个人的情况都是不一样的。
比如我先生，他需要8小时的睡眠时间，而我可能只需要6个多小时。因为这个世界上的确存在一些不需要睡那么久，但精力依然很旺盛的人。所以我们不一定要和别人一样，只要找到适合自己的频率就行。
2、条件允许的前提下，可以给自己每天安排15-20分钟的午睡，它可以让你下午和晚上的工作和学习精力更充沛。
3、早起的前提，一定一定是早睡
如果做不到早睡，一切都是空谈。
我非常喜欢南怀瑾大师的一句话，他说，“能够早起的人，方能控制人生。”
生命太短，没有时间留给遗憾。最后愿大家都能在早起的这段时光里，收获一个不一样的人生。
我今天的分享就到这里，感谢大家的聆听！
PS:非常喜欢今天早起打卡的一段话，“懂得跟过去的自己握手言和，把时间用在进步而不是抱怨上，学会看淡别人的评价，慢慢的变得内心强大，多读书，早些起，然后变得善良、清澈、温暖而有力量。”共勉！
收起阅读 »
np.empty() 函数的用法 （有坑）
看名字np.empty()，以为创建一个空的多维数组，如 np.empty((4,4))
但是实际结果返回：
what ？
感觉里面的元素是随机生成的。
查了下官方文档，的确是。np.empty()返回一个随机元素的矩阵，大小按照参数定义。
所以使用的时候要小心。需要手工把每一个值重新定义，否则该值是一个随机数，调试起来会比较麻烦。
原创文章
转载请注明出处：
http://www.30daydo.com/article/376
收起阅读 »
但是实际结果返回：
array([[4.67296746e-307, 1.69121096e-306, 9.34601642e-307,
1.33511562e-306],
[8.34447260e-308, 6.23043768e-307, 2.22522597e-306,
1.33511969e-306],
[1.37962320e-306, 9.34604358e-307, 9.79101082e-307,
1.78020576e-306],
[1.69119873e-306, 2.22522868e-306, 1.24611809e-306,
8.06632139e-308]])
what ？
感觉里面的元素是随机生成的。
查了下官方文档，的确是。np.empty()返回一个随机元素的矩阵，大小按照参数定义。
所以使用的时候要小心。需要手工把每一个值重新定义，否则该值是一个随机数，调试起来会比较麻烦。
原创文章
转载请注明出处：
http://www.30daydo.com/article/376
收起阅读 »
Hbase thrift python3不兼容
可以使用pip安装，可是运行时报错，语法上不兼容python3，需要手工一条一条的修改。
无奈只好切换到py2的虚拟环境。
无奈只好切换到py2的虚拟环境。
Hbase添加一个列族
Hbase可以在原表的基础上添加一个列族。
alter 'tablename', 'columnfamily2'
然后就可以插入新的数据了。
alter 'tablename', 'columnfamily2'
然后就可以插入新的数据了。
