通知设置 新通知
dataframe 根据日期重采样 计算个数
李魔佛 发表了文章 • 0 个评论 • 126 次浏览 • 2019-12-19 09:07
按照日期重新采样，计算每天的个数new_df = df.resample('D').count()
按照日期重新采样，计算每天的个数new_df = df.resample('D').count()
python分析目前为止科创板企业省份分布
李魔佛 发表了文章 • 0 个评论 • 583 次浏览 • 2019-08-26 00:45
科创板上市以来已经有一个多月了，我想看看到目前为止，上市企业都是归属哪些地方的。 因为个人觉得科创板是上证板块的，那么来自江浙一带的企业会更多。 毕竟现在深市和沪市在争夺资源，深市希望把深圳企业留回在深市的主板或者中小创版块。
首先获取行情数据，借助tushare这个框架：
在python3环境下，pip install tushare --upgrade ，记得要更新，因为用的旧版本会获取不到科创板的数据。
安装成功后试试import tushare as ts，看看有没有报错。没有就是安装成功了。
接下来抓取全市场的行情.
(点击查看大图)
查看前5条数据
现在行情数据存储在df中，然后分析数据。
因为提取的是全市场的数据，然后获取科创板的企业：
(点击查看大图)
使用的是正则表达式，匹配688开头的代码。
接下来就是分析企业归属地：
(点击查看大图)
使用value_counts函数，统计该列每个值出现的次数。
搞定了！ 是不是很简单？
而且企业地区分布和自己的构想也差不多，江浙沪一带占了一半，加上北京地区，占了80%以上的科创板企业了。
每周会定期更新一篇python数据分析股票的文章。
原创文章，欢迎转载
请注明出处：
http://30daydo.com/article/528
查看全部
首先获取行情数据，借助tushare这个框架：
在python3环境下，pip install tushare --upgrade ，记得要更新，因为用的旧版本会获取不到科创板的数据。
安装成功后试试import tushare as ts，看看有没有报错。没有就是安装成功了。
接下来抓取全市场的行情.
(点击查看大图)
查看前5条数据
现在行情数据存储在df中，然后分析数据。
因为提取的是全市场的数据，然后获取科创板的企业：
(点击查看大图)
使用的是正则表达式，匹配688开头的代码。
接下来就是分析企业归属地：
(点击查看大图)
使用value_counts函数，统计该列每个值出现的次数。
搞定了！ 是不是很简单？
而且企业地区分布和自己的构想也差不多，江浙沪一带占了一半，加上北京地区，占了80%以上的科创板企业了。
每周会定期更新一篇python数据分析股票的文章。
原创文章，欢迎转载
请注明出处：
http://30daydo.com/article/528
查看全部
科创板上市以来已经有一个多月了，我想看看到目前为止，上市企业都是归属哪些地方的。 因为个人觉得科创板是上证板块的，那么来自江浙一带的企业会更多。 毕竟现在深市和沪市在争夺资源，深市希望把深圳企业留回在深市的主板或者中小创版块。
首先获取行情数据，借助tushare这个框架：
在python3环境下，pip install tushare --upgrade ，记得要更新，因为用的旧版本会获取不到科创板的数据。
安装成功后试试import tushare as ts，看看有没有报错。没有就是安装成功了。
接下来抓取全市场的行情.
(点击查看大图)
查看前5条数据
现在行情数据存储在df中，然后分析数据。
因为提取的是全市场的数据，然后获取科创板的企业：
(点击查看大图)
使用的是正则表达式，匹配688开头的代码。
接下来就是分析企业归属地：
(点击查看大图)
使用value_counts函数，统计该列每个值出现的次数。
搞定了！ 是不是很简单？
而且企业地区分布和自己的构想也差不多，江浙沪一带占了一半，加上北京地区，占了80%以上的科创板企业了。
每周会定期更新一篇python数据分析股票的文章。
原创文章，欢迎转载
请注明出处：
http://30daydo.com/article/528
首先获取行情数据，借助tushare这个框架：
在python3环境下，pip install tushare --upgrade ，记得要更新，因为用的旧版本会获取不到科创板的数据。
安装成功后试试import tushare as ts，看看有没有报错。没有就是安装成功了。
接下来抓取全市场的行情.
查看前5条数据
现在行情数据存储在df中，然后分析数据。
因为提取的是全市场的数据，然后获取科创板的企业：
使用的是正则表达式，匹配688开头的代码。
接下来就是分析企业归属地：
使用value_counts函数，统计该列每个值出现的次数。
搞定了！ 是不是很简单？
而且企业地区分布和自己的构想也差不多，江浙沪一带占了一半，加上北京地区，占了80%以上的科创板企业了。
每周会定期更新一篇python数据分析股票的文章。
原创文章，欢迎转载
请注明出处：
http://30daydo.com/article/528
numpy indices的用法
李魔佛 发表了文章 • 0 个评论 • 1293 次浏览 • 2019-07-08 17:58
Suppose you have a matrix M whose (i,j)-th element equals
M_ij = 2*i + 3*j
One way to define this matrix would be
i, j = np.indices((2,3))
M = 2*i + 3*j
which yields
array([[0, 3, 6],
[2, 5, 8]])
In other words, np.indices returns arrays which can be used as indices. The elements in i indicate the row index:
In [12]: i
Out[12]:
array([[0, 0, 0],
[1, 1, 1]])
The elements in j indicate the column index:
In [13]: j
Out[13]:
array([[0, 1, 2],
[0, 1, 2]])
上面是Stack Overflow的解释。 翻译一下：
np.indices((2,3))
返回的是一个行列的索引，然后可以用这个索引快速的创建二维数据。
比如我要画一个圆：
img = np.zeros((400,400))
ir,ic = np.indices(img.shape)
circle = (ir-135)**2+(ic-150)**2 < 30**2 # 半径30，圆心在135,150
img[circle]=1
img现在就是一个圆啦
查看全部
M_ij = 2*i + 3*j
One way to define this matrix would be
i, j = np.indices((2,3))
M = 2*i + 3*j
which yields
array([[0, 3, 6],
[2, 5, 8]])
In other words, np.indices returns arrays which can be used as indices. The elements in i indicate the row index:
In [12]: i
Out[12]:
array([[0, 0, 0],
[1, 1, 1]])
The elements in j indicate the column index:
In [13]: j
Out[13]:
array([[0, 1, 2],
[0, 1, 2]])
上面是Stack Overflow的解释。 翻译一下：
np.indices((2,3))
返回的是一个行列的索引，然后可以用这个索引快速的创建二维数据。
比如我要画一个圆：
img = np.zeros((400,400))
ir,ic = np.indices(img.shape)
circle = (ir-135)**2+(ic-150)**2 < 30**2 # 半径30，圆心在135,150
img[circle]=1
img现在就是一个圆啦
查看全部
Suppose you have a matrix M whose (i,j)-th element equals
M_ij = 2*i + 3*j
One way to define this matrix would be
i, j = np.indices((2,3))
M = 2*i + 3*j
which yields
array([[0, 3, 6],
[2, 5, 8]])
In other words, np.indices returns arrays which can be used as indices. The elements in i indicate the row index:
In [12]: i
Out[12]:
array([[0, 0, 0],
[1, 1, 1]])
The elements in j indicate the column index:
In [13]: j
Out[13]:
array([[0, 1, 2],
[0, 1, 2]])
上面是Stack Overflow的解释。 翻译一下：
np.indices((2,3))
返回的是一个行列的索引，然后可以用这个索引快速的创建二维数据。
比如我要画一个圆：
img = np.zeros((400,400))
ir,ic = np.indices(img.shape)
circle = (ir-135)**2+(ic-150)**2 < 30**2 # 半径30，圆心在135,150
img[circle]=1
img现在就是一个圆啦
nunpy中的std标准差是样本差吗
李魔佛 发表了文章 • 0 个评论 • 483 次浏览 • 2019-07-01 10:08
写个代码测试下：
# 测试一下那个方差
x=[1,2,3,4,5,6,7,8,9,10]
X = np.array(x)
X.mean()
5.5
X.std() # 标准差
2.8722813232690143
手工计算一下：
def my_fangca(X):
l=len(X)
mean=X.mean()
sum_ = 0
sum_std=0
for i in X:
sum_+=(i-mean)**2
var_=sum_/l
std_=(sum_/(l))**0.5
return var_,std_
result = my_fangca(X)
得到的result
(8.25, 2.8722813232690143)
说明numpy的std是标准差，不是样本差 查看全部
# 测试一下那个方差
x=[1,2,3,4,5,6,7,8,9,10]
X = np.array(x)
X.mean()
5.5
X.std() # 标准差
2.8722813232690143
手工计算一下：
def my_fangca(X):
l=len(X)
mean=X.mean()
sum_ = 0
sum_std=0
for i in X:
sum_+=(i-mean)**2
var_=sum_/l
std_=(sum_/(l))**0.5
return var_,std_
result = my_fangca(X)
得到的result
(8.25, 2.8722813232690143)
说明numpy的std是标准差，不是样本差 查看全部
写个代码测试下：
5.5
X.std() # 标准差
2.8722813232690143
手工计算一下：
result = my_fangca(X)
得到的result
(8.25, 2.8722813232690143)
说明numpy的std是标准差，不是样本差
# 测试一下那个方差X.mean()
x=[1,2,3,4,5,6,7,8,9,10]
X = np.array(x)
5.5
X.std() # 标准差
2.8722813232690143
手工计算一下：
def my_fangca(X):
l=len(X)
mean=X.mean()
sum_ = 0
sum_std=0
for i in X:
sum_+=(i-mean)**2
var_=sum_/l
std_=(sum_/(l))**0.5
return var_,std_
result = my_fangca(X)
得到的result
(8.25, 2.8722813232690143)
说明numpy的std是标准差，不是样本差
修改easytrader国金证券的默认启动路径
李魔佛 发表了文章 • 0 个评论 • 502 次浏览 • 2019-06-17 10:23
如果你的国金证券不是安装在默认路径的话，会无法启动。报错：
pywinauto.application.AppStartError: Could not create the process "C:\全能行证券交易终端\xiadan.exe"
Error returned by CreateProcess: (2, 'CreateProcess', '系统找不到指定的文件。')
看了配置文件，也是没有具体的参数可以修改，只好修改源代码。
别听到改源代码就害怕，只是需要改一行就可以了。
找到文件：
site-package\easytrader\config\client.py
找过这一行：
class GJ(CommonConfig):
DEFAULT_EXE_PATH = "C:\\Tool\\xiadan.exe"只要修改上面的路径就可以了。注意用双斜杠。
查看全部
pywinauto.application.AppStartError: Could not create the process "C:\全能行证券交易终端\xiadan.exe"
Error returned by CreateProcess: (2, 'CreateProcess', '系统找不到指定的文件。')
看了配置文件，也是没有具体的参数可以修改，只好修改源代码。
别听到改源代码就害怕，只是需要改一行就可以了。
找到文件：
site-package\easytrader\config\client.py
找过这一行：
class GJ(CommonConfig):
DEFAULT_EXE_PATH = "C:\\Tool\\xiadan.exe"只要修改上面的路径就可以了。注意用双斜杠。
查看全部
如果你的国金证券不是安装在默认路径的话，会无法启动。报错：
看了配置文件，也是没有具体的参数可以修改，只好修改源代码。
别听到改源代码就害怕，只是需要改一行就可以了。
找到文件：
site-package\easytrader\config\client.py
找过这一行：
pywinauto.application.AppStartError: Could not create the process "C:\全能行证券交易终端\xiadan.exe"
Error returned by CreateProcess: (2, 'CreateProcess', '系统找不到指定的文件。')
看了配置文件，也是没有具体的参数可以修改，只好修改源代码。
别听到改源代码就害怕，只是需要改一行就可以了。
找到文件：
site-package\easytrader\config\client.py
找过这一行：
class GJ(CommonConfig):只要修改上面的路径就可以了。注意用双斜杠。
DEFAULT_EXE_PATH = "C:\\Tool\\xiadan.exe"
numpy flatten函数的用法
李魔佛 发表了文章 • 0 个评论 • 787 次浏览 • 2019-04-30 10:01
把数据展平,无论多少维的数据,变为1维
例子:
x=np.array([[1,2,3,4],[5,6,7,8]])x
array([[1, 2, 3, 4],
[5, 6, 7, 8]])
然后对x进行flatten操作
x.flatten()
得到的数据:
array([1, 2, 3, 4, 5, 6, 7, 8])
你也可以指定展平的轴,设定axis就可以了. 查看全部
例子:
x=np.array([[1,2,3,4],[5,6,7,8]])x
array([[1, 2, 3, 4],
[5, 6, 7, 8]])
然后对x进行flatten操作
x.flatten()
得到的数据:
array([1, 2, 3, 4, 5, 6, 7, 8])
你也可以指定展平的轴,设定axis就可以了. 查看全部
把数据展平,无论多少维的数据,变为1维
例子:
x=np.array([[1,2,3,4],[5,6,7,8]])x
array([[1, 2, 3, 4],
[5, 6, 7, 8]])
然后对x进行flatten操作
x.flatten()
得到的数据:
array([1, 2, 3, 4, 5, 6, 7, 8])你也可以指定展平的轴,设定axis就可以了.
发现numpy一个很坑的问题，要一定级别的高手才能发现问题
李魔佛 发表了文章 • 0 个评论 • 722 次浏览 • 2019-04-30 00:04
一个二元一次方程：
y=X0**2+X1**2 # **2 是平方def function_2(x):
return x[0]**2+x[1]**2
下面是计算y的偏导数，分布计算X0和X1的偏导def numerical_gradient(f,x):
grad = np.zeros_like(x)
h=1e-4
for idx in range(x.size):
temp_v = x[idx]
x[idx]=temp_v+h
f1=f(x)
print(x,f1)
x[idx]=temp_v-h
f2=f(x)
print(x,f2)
ret = (f1-f2)/(2*h)
print(ret)
x[idx]=temp_v
grad[idx]=ret
return grad
然后调用numerical_gradient(function_2,np.array([3,4]))
计算的是二元一次方程 y=X0**2+X1**2 在点（3,4）的偏导的值
得到的是什么结果？
为什么会得到这样的结果？
小白一般要花点时间才能找到原因。
查看全部
y=X0**2+X1**2 # **2 是平方def function_2(x):
return x[0]**2+x[1]**2
下面是计算y的偏导数，分布计算X0和X1的偏导def numerical_gradient(f,x):
grad = np.zeros_like(x)
h=1e-4
for idx in range(x.size):
temp_v = x[idx]
x[idx]=temp_v+h
f1=f(x)
print(x,f1)
x[idx]=temp_v-h
f2=f(x)
print(x,f2)
ret = (f1-f2)/(2*h)
print(ret)
x[idx]=temp_v
grad[idx]=ret
return grad
然后调用numerical_gradient(function_2,np.array([3,4]))
计算的是二元一次方程 y=X0**2+X1**2 在点（3,4）的偏导的值
得到的是什么结果？
为什么会得到这样的结果？
小白一般要花点时间才能找到原因。
查看全部
一个二元一次方程：
y=X0**2+X1**2 # **2 是平方
下面是计算y的偏导数，分布计算X0和X1的偏导
然后调用
计算的是二元一次方程 y=X0**2+X1**2 在点（3,4）的偏导的值
得到的是什么结果？
为什么会得到这样的结果？
小白一般要花点时间才能找到原因。
y=X0**2+X1**2 # **2 是平方
def function_2(x):
return x[0]**2+x[1]**2
下面是计算y的偏导数，分布计算X0和X1的偏导
def numerical_gradient(f,x):
grad = np.zeros_like(x)
h=1e-4
for idx in range(x.size):
temp_v = x[idx]
x[idx]=temp_v+h
f1=f(x)
print(x,f1)
x[idx]=temp_v-h
f2=f(x)
print(x,f2)
ret = (f1-f2)/(2*h)
print(ret)
x[idx]=temp_v
grad[idx]=ret
return grad
然后调用
numerical_gradient(function_2,np.array([3,4]))计算的是二元一次方程 y=X0**2+X1**2 在点（3,4）的偏导的值
得到的是什么结果？
为什么会得到这样的结果？
小白一般要花点时间才能找到原因。
numpy和dataframe轴的含义，axis为负数的含义
李魔佛 发表了文章 • 0 个评论 • 847 次浏览 • 2019-04-28 14:22
比如有数组：
a=np.array([[[1,2],[3,4]],[[11,12],[13,14]]])
a
array([[[ 1, 2],
[ 3, 4]],
[[11, 12],
[13, 14]]])
a有3个中括号，那么就有3条轴，从0开始到2，分别是axis=0,1,2
那么我要对a进行求和,分别用axis=0,1,2进行运行。
a.sum(axis=0)得到：
array([[12, 14],
[16, 18]])意思是去掉一个中括号，然后运行。
同理：
a.sum(axis=1)对a去掉2个中括号，然后运行。
得到：
array([[ 4, 6],
[24, 26]])那么对a.sum(axis=2)的结果呢？读者可以自己上机去尝试吧。
而轴的负数，axis=-3和axis=0的意思是一样的，对于有3层轴的数组来说的话。
a.sum(axis=-3)
array([[12, 14],
[16, 18]])
查看全部
a=np.array([[[1,2],[3,4]],[[11,12],[13,14]]])
a
array([[[ 1, 2],
[ 3, 4]],
[[11, 12],
[13, 14]]])
a有3个中括号，那么就有3条轴，从0开始到2，分别是axis=0,1,2
那么我要对a进行求和,分别用axis=0,1,2进行运行。
a.sum(axis=0)得到：
array([[12, 14],
[16, 18]])意思是去掉一个中括号，然后运行。
同理：
a.sum(axis=1)对a去掉2个中括号，然后运行。
得到：
array([[ 4, 6],
[24, 26]])那么对a.sum(axis=2)的结果呢？读者可以自己上机去尝试吧。
而轴的负数，axis=-3和axis=0的意思是一样的，对于有3层轴的数组来说的话。
a.sum(axis=-3)
array([[12, 14],
[16, 18]])
查看全部
比如有数组：
a
a有3个中括号，那么就有3条轴，从0开始到2，分别是axis=0,1,2
那么我要对a进行求和,分别用axis=0,1,2进行运行。
同理：
得到：
而轴的负数，axis=-3和axis=0的意思是一样的，对于有3层轴的数组来说的话。
a=np.array([[[1,2],[3,4]],[[11,12],[13,14]]])
a
array([[[ 1, 2],
[ 3, 4]],
[[11, 12],
[13, 14]]])
a有3个中括号，那么就有3条轴，从0开始到2，分别是axis=0,1,2
那么我要对a进行求和,分别用axis=0,1,2进行运行。
a.sum(axis=0)得到：
array([[12, 14],意思是去掉一个中括号，然后运行。
[16, 18]])
同理：
a.sum(axis=1)对a去掉2个中括号，然后运行。
得到：
array([[ 4, 6],那么对a.sum(axis=2)的结果呢？读者可以自己上机去尝试吧。
[24, 26]])
而轴的负数，axis=-3和axis=0的意思是一样的，对于有3层轴的数组来说的话。
a.sum(axis=-3)
array([[12, 14],
[16, 18]])
np.nonzero()的用法【numpy小白】
李魔佛 发表了文章 • 0 个评论 • 1007 次浏览 • 2019-04-28 10:16
numpy函数返回非零元素的位置。
返回值为元组， 两个值分别为两个维度， 包含了相应维度上非零元素的目录值。
比如：
n1=np.array([0,1,0,0,0,0,1,0,0,0,0,0,0,1])
n1.nonzero()
返回的是：
(array([ 1, 6, 13], dtype=int64),)注意上面是一个yu元组
要获取里面的值，需要用 n1.nonzero()[0] 来获取。
原创文章
转载请注明出处：
http://30daydo.com/article/466
查看全部
返回值为元组， 两个值分别为两个维度， 包含了相应维度上非零元素的目录值。
比如：
n1=np.array([0,1,0,0,0,0,1,0,0,0,0,0,0,1])
n1.nonzero()
返回的是：
(array([ 1, 6, 13], dtype=int64),)注意上面是一个yu元组
要获取里面的值，需要用 n1.nonzero()[0] 来获取。
原创文章
转载请注明出处：
http://30daydo.com/article/466
查看全部
numpy函数返回非零元素的位置。
返回值为元组， 两个值分别为两个维度， 包含了相应维度上非零元素的目录值。
比如：
返回的是：
要获取里面的值，需要用 n1.nonzero()[0] 来获取。
原创文章
转载请注明出处：
http://30daydo.com/article/466
返回值为元组， 两个值分别为两个维度， 包含了相应维度上非零元素的目录值。
比如：
n1=np.array([0,1,0,0,0,0,1,0,0,0,0,0,0,1])
n1.nonzero()
返回的是：
(array([ 1, 6, 13], dtype=int64),)注意上面是一个yu元组要获取里面的值，需要用 n1.nonzero()[0] 来获取。
原创文章
转载请注明出处：
http://30daydo.com/article/466
ndarray和array的区别【numpy小白】
李魔佛 发表了文章 • 0 个评论 • 2534 次浏览 • 2019-04-28 10:11
在numpy中，np.array（）是一个函数，用法： np.array([1,2,3,4])上面代码创建了一个对象，这个对象就是ndarray。 所以ndarray是一个类对象象，而array是一个方法。
原创文章
转载请注明出处：
http://30daydo.com/article/465
查看全部
原创文章
转载请注明出处：
http://30daydo.com/article/465
查看全部
在numpy中，np.array（）是一个函数，用法：
原创文章
转载请注明出处：
http://30daydo.com/article/465
np.array([1,2,3,4])上面代码创建了一个对象，这个对象就是ndarray。 所以ndarray是一个类对象象，而array是一个方法。原创文章
转载请注明出处：
http://30daydo.com/article/465
