ticker	secShortName	secFullName	y_chgPct

31	601288	农业银行	中国农业银行股份有限公司	-0.341178

11	600015	华夏银行	华夏银行股份有限公司	1.856174

45	601988	中国银行	中国银行股份有限公司	2.248533

32	601328	交通银行	交通银行股份有限公司	3.532657

30	601229	上海银行	上海银行股份有限公司	3.725781

35	601398	工商银行	中国工商银行股份有限公司	4.771403

40	601818	光大银行	中国光大银行股份有限公司	5.643119

27	601169	北京银行	北京银行股份有限公司	6.205580

14	600016	民生银行	中国民生银行股份有限公司	7.092815

5	002936	郑州银行	郑州银行股份有限公司	7.551112

49	601998	中信银行	中信银行股份有限公司	8.181956

43	601939	建设银行	中国建设银行股份有限公司	9.402651

41	601838	成都银行	成都银行股份有限公司	9.424554

52	603323	苏农银行	江苏苏州农村商业银行股份有限公司	12.375732

20	600926	杭州银行	杭州银行股份有限公司	12.933645

8	600000	浦发银行	上海浦东发展银行股份有限公司	14.752244

39	601577	长沙银行	长沙银行股份有限公司	14.792683

18	600908	无锡银行	无锡农村商业银行股份有限公司	16.181704

3	002807	江阴银行	江苏江阴农村商业银行股份有限公司	19.274586

48	601997	贵阳银行	贵阳银行股份有限公司	20.489563

4	002839	张家港行	江苏张家港农村商业银行股份有限公司	20.599511

25	601166	兴业银行	兴业银行股份有限公司	21.206503

24	601128	常熟银行	江苏常熟农村商业银行股份有限公司	21.571187

19	600919	江苏银行	江苏银行股份有限公司	23.218299

22	601009	南京银行	南京银行股份有限公司	26.297500

16	600036	招商银行	招商银行股份有限公司	27.518708

0	000001	平安银行	平安银行股份有限公司	31.624747

2	002142	宁波银行	宁波银行股份有限公司	31.729062

6	002948	青岛银行	青岛银行股份有限公司	48.602573

7	002958	青农商行	青岛农村商业银行股份有限公司	108.983776

42	601860	紫金银行	江苏紫金农村商业银行股份有限公司	115.147347

21	600928	西安银行	西安银行股份有限公司	128.496683

js=re.sub('\r\n','',js)

async def fetch(session,url, data):

    async with session.post(url=url, data=data, headers=headers) as response:

        return await response.json()

import aiohttp

import asyncio



page = 30



post_data = {

    'page': 1,

    'pageSize': 10,

    'keyWord': '',

    'dpIds': '',

}



headers = {

    

    "Accept-Encoding": "gzip, deflate",

    "Accept-Language": "en-US,en;q=0.9",

    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36",

    "X-Requested-With": "XMLHttpRequest",

}



result=





async def fetch(session,url, data):

    async with session.post(url=url, data=data, headers=headers) as response:

        return await response.json()



async def parse(html):

    xzcf_list = html.get('newtxzcfList')

    if xzcf_list is None:

        return

    for i in xzcf_list:

        result.append(i)



async def downlod(page):

    data=post_data.copy()

    data['page']=page

    url = 'http://credit.chaozhou.gov.cn/tfieldTypeActionJson!initXzcfListnew.do'

    async with aiohttp.ClientSession() as session:

            html=await fetch(session,url,data)

            await parse(html)



loop = asyncio.get_event_loop()

tasks=[asyncio.ensure_future(downlod(i)) for i in range(1,page)]

tasks=asyncio.gather(*tasks)

# print(tasks)

loop.run_until_complete(tasks)

# loop.close()

# print(result)

count=0

for i in result:

    print(i.get('cfXdrMc'))

    count+=1

print(f'total {count}')

import requests

from lxml import etree

import asyncio

import aiohttp

import pandas

import re

import math

import time



loction_info = '''    1→杭州

    2→武汉

    3→北京

    按ENTER确认：'''

loction_select = input(loction_info)

loction_dic = {'1': 'hz',

               '2': 'wh',

               '3': 'bj'}

city_url = 'https://{}.lianjia.com/ershoufang/'.format(loction_dic[loction_select])

down = input('请输入价格下限（万）:')

up = input('请输入价格上限（万）:')



inter_list = [(int(down), int(up))]





def half_inter(inter):

    lower = inter[0]

    upper = inter[1]

    delta = int((upper - lower) / 2)

    inter_list.remove(inter)

    print('已经缩小价格区间', inter)

    inter_list.append((lower, lower + delta))

    inter_list.append((lower + delta, upper))





pagenum = {}





def get_num(inter):

    url = city_url + 'bp{}ep{}/'.format(inter[0], inter[1])

    r = requests.get(url).text

    print(r)

    num = int(etree.HTML(r).xpath("//h2[@class='total fl']/span/text()")[0].strip())

    pagenum[(inter[0], inter[1])] = num

    return num





totalnum = get_num(inter_list[0])



judge = True

while judge:

    a = [get_num(x) > 3000 for x in inter_list]

    if True in a:

        judge = True

    else:

        judge = False

    for i in inter_list:

        if get_num(i) > 3000:

            half_inter(i)

print('价格区间缩小完毕！')



url_lst = []

url_lst_failed = []

url_lst_successed = []

url_lst_duplicated = []



for i in inter_list:

    totalpage = math.ceil(pagenum[i] / 30)

    for j in range(1, totalpage + 1):

        url = city_url + 'pg{}bp{}ep{}/'.format(j, i[0], i[1])

        url_lst.append(url)

print('url列表获取完毕！')



info_lst = []





async def get_info(url):

    async with aiohttp.ClientSession() as session:

        async with session.get(url, timeout=5) as resp:

            if resp.status != 200:

                url_lst_failed.append(url)

            else:

                url_lst_successed.append(url)

            r = await resp.text()

            nodelist = etree.HTML(r).xpath("//ul[@class='sellListContent']/li")

            # print('-------------------------------------------------------------')

            # print('开始抓取第{}个页面的数据,共计{}个页面'.format(url_lst.index(url),len(url_lst)))

            # print('开始抓取第{}个页面的数据,共计{}个页面'.format(url_lst.index(url), len(url_lst)))

            # print('开始抓取第{}个页面的数据,共计{}个页面'.format(url_lst.index(url), len(url_lst)))

            # print('-------------------------------------------------------------')

            info_dic = {}

            index = 1

            print('开始抓取{}'.format(resp.url))

            print('开始抓取{}'.format(resp.url))

            print('开始抓取{}'.format(resp.url))

            for node in nodelist:

                try:

                    info_dic['title'] = node.xpath(".//div[@class='title']/a/text()")[0]

                except:

                    info_dic['title'] = '/'

                try:

                    info_dic['href'] = node.xpath(".//div[@class='title']/a/@href")[0]

                except:

                    info_dic['href'] = '/'

                try:

                    info_dic['xiaoqu'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[0]

                except:

                    info_dic['xiaoqu'] = '/'

                try:

                    info_dic['huxing'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[1]

                except:

                    info_dic['huxing'] = '/'

                try:

                    info_dic['area'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[2]

                except:

                    info_dic['area'] = '/'

                try:

                    info_dic['chaoxiang'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[3]

                except:

                    info_dic['chaoxiang'] = '/'

                try:

                    info_dic['zhuangxiu'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[4]

                except:

                    info_dic['zhuangxiu'] = '/'

                try:

                    info_dic['dianti'] = \

                    node.xpath(".//div[@class='houseInfo']")[0].xpath('string(.)').replace(' ', '').split('|')[5]

                except:

                    info_dic['dianti'] = '/'

                try:

                    info_dic['louceng'] = re.findall('\((.*)\)', node.xpath(".//div[@class='positionInfo']/text()")[0])

                except:

                    info_dic['louceng'] = '/'

                try:

                    info_dic['nianxian'] = re.findall('\)(.*?)年', node.xpath(".//div[@class='positionInfo']/text()")[0])

                except:

                    info_dic['nianxian'] = '/'

                try:

                    info_dic['guanzhu'] = ''.join(re.findall('[0-9]', node.xpath(".//div[@class='followInfo']/text()")[

                        0].replace(' ', '').split('/')[0]))

                except:

                    info_dic['guanzhu'] = '/'

                try:

                    info_dic['daikan'] = ''.join(re.findall('[0-9]',

                                                            node.xpath(".//div[@class='followInfo']/text()")[0].replace(

                                                                ' ', '').split('/')[1]))

                except:

                    info_dic['daikan'] = '/'

                try:

                    info_dic['fabu'] = node.xpath(".//div[@class='followInfo']/text()")[0].replace(' ', '').split('/')[

                        2]

                except:

                    info_dic['fabu'] = '/'

                try:

                    info_dic['totalprice'] = node.xpath(".//div[@class='totalPrice']/span/text()")[0]

                except:

                    info_dic['totalprice'] = '/'

                try:

                    info_dic['unitprice'] = node.xpath(".//div[@class='unitPrice']/span/text()")[0].replace('单价', '')

                except:

                    info_dic['unitprice'] = '/'

                if True in [info_dic['href'] in dic.values() for dic in info_lst]:

                    url_lst_duplicated.append(info_dic)

                else:

                    info_lst.append(info_dic)

                print('第{}条:    {}→房屋信息抓取完毕！'.format(index, info_dic['title']))

                index += 1

                info_dic = {}





start = time.time()



# 首次抓取url_lst中的信息，部分url没有对其发起请求，不知道为什么

tasks = [asyncio.ensure_future(get_info(url)) for url in url_lst]

loop = asyncio.get_event_loop()

loop.run_until_complete(asyncio.wait(tasks))



# 将没有发起请求的url放入一个列表，对其进行循环抓取，直到所有url都被发起请求

url_lst_unrequested = []

for url in url_lst:

    if url not in url_lst_successed or url_lst_failed:

        url_lst_unrequested.append(url)

while len(url_lst_unrequested) > 0:

    tasks_unrequested = [asyncio.ensure_future(get_info(url)) for url in url_lst_unrequested]

    loop.run_until_complete(asyncio.wait(tasks_unrequested))

    url_lst_unrequested = []

    for url in url_lst:

        if url not in url_lst_successed:

            url_lst_unrequested.append(url)

end = time.time()

print('当前价格区间段内共有{}套二手房源\(包含{}条重复房源\),实际获得{}条房源信息。'.format(totalnum, len(url_lst_duplicated), len(info_lst)))

print('总共耗时{}秒'.format(end - start))



df = pandas.DataFrame(info_lst)

df.to_csv("ljwh.csv", encoding='gbk')

import matplotlib.pyplot as plt

import numpy as np

import time

from collections import OrderedDict



def softmax(a):

    a = a - np.max(a)

    exp_a = np.exp(a)

    exp_a_sum = np.sum(exp_a)

    return exp_a / exp_a_sum





def cross_entropy_error(t, y):

    delta = 1e-7

    s = -1 * np.sum(t * np.log(y + delta))

    #     print('cross entropy ',s)

    return s





class simpleNet:

    def __init__(self):

        self.W = np.random.randn(2, 3)



    def predict(self, x):

        print('current w',self.W)

        return np.dot(x, self.W)



    def loss(self, x, t):

        z = self.predict(x)

        #         print(z)

        #         print(z.ndim)

        y = softmax(z)

        #         print('y',y)

        loss = cross_entropy_error(y, t)  # y为预测的值

        return loss







def numerical_gradient_(f, x):  # 针对2维的情况 甚至是多维

    h = 1e-4  # 0.0001

    grad = np.zeros_like(x)



    it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite'])

    while not it.finished:

        idx = it.multi_index

        print('idx', idx)

        tmp_val = x[idx]

        x[idx] = float(tmp_val) + h

        fxh1 = f(x)  # f(x+h)

        print('fxh1 ', fxh1)

        # print('current W', net.W)

        x[idx] = tmp_val - h

        fxh2 = f(x)  # f(x-h)

        print('fxh2 ', fxh2)

        # print('next currnet W ', net.W)

        grad[idx] = (fxh1 - fxh2) / (2 * h)



        x[idx] = tmp_val  # 还原值

        it.iternext()



    return grad







net = simpleNet()

x=np.array([0.6,0.9])

t = np.array([0.0,0.0,1.0])



def f(W):

    return net.loss(x,t)



grads =numerical_gradient_(f,net.W)

print(grads)

MTW881U3Z5-eyJsaWNlbnNlSWQiOiJNVFc4ODFVM1o1IiwibGljZW5zZWVOYW1lIjoiTnNzIEltIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiSUkiLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifSx7ImNvZGUiOiJBQyIsInBhaWRVcFRvIjoiMjAxOS0xMS0wNiJ9LHsiY29kZSI6IkRQTiIsInBhaWRVcFRvIjoiMjAxOS0xMS0wNiJ9LHsiY29kZSI6IlBTIiwicGFpZFVwVG8iOiIyMDE5LTExLTA2In0seyJjb2RlIjoiR08iLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifSx7ImNvZGUiOiJETSIsInBhaWRVcFRvIjoiMjAxOS0xMS0wNiJ9LHsiY29kZSI6IkNMIiwicGFpZFVwVG8iOiIyMDE5LTExLTA2In0seyJjb2RlIjoiUlMwIiwicGFpZFVwVG8iOiIyMDE5LTExLTA2In0seyJjb2RlIjoiUkMiLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifSx7ImNvZGUiOiJSRCIsInBhaWRVcFRvIjoiMjAxOS0xMS0wNiJ9LHsiY29kZSI6IlBDIiwicGFpZFVwVG8iOiIyMDE5LTExLTA2In0seyJjb2RlIjoiUk0iLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifSx7ImNvZGUiOiJXUyIsInBhaWRVcFRvIjoiMjAxOS0xMS0wNiJ9LHsiY29kZSI6IkRCIiwicGFpZFVwVG8iOiIyMDE5LTExLTA2In0seyJjb2RlIjoiREMiLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifSx7ImNvZGUiOiJSU1UiLCJwYWlkVXBUbyI6IjIwMTktMTEtMDYifV0sImhhc2giOiIxMDgyODE0Ni8wIiwiZ3JhY2VQZXJpb2REYXlzIjowLCJhdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlLCJpc0F1dG9Qcm9sb25nYXRlZCI6ZmFsc2V9-aKyalfjUfiV5UXfhaMGgOqrMzTYy2rnsmobL47k8tTpR/jvG6HeL3FxxleetI+W+Anw3ZSe8QAMsSxqVS4podwlQgIe7f+3w7zyAT1j8HMVlfl2h96KzygdGpDSbwTbwOkJ6/5TQOPgAP86mkaSiM97KgvkZV/2nXQHRz1yhm+MT+OsioTwxDhd/22sSGq6KuIztZ03UvSciEmyrPdl2ueJw1WuT9YmFjdtTm9G7LuXvCM6eav+BgCRm+wwtUeDfoQqigbp0t6FQgkdQrcjoWvLSB0IUgp/f4qGf254fA7lXskT2VCFdDvi0jgxLyMVct1cKnPdM6fkHnbdSXKYDWw==-MIIElTCCAn2gAwIBAgIBCTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTE4MTEwMTEyMjk0NloXDTIwMTEwMjEyMjk0NlowaDELMAkGA1UEBhMCQ1oxDjAMBgNVBAgMBU51c2xlMQ8wDQYDVQQHDAZQcmFndWUxGTAXBgNVBAoMEEpldEJyYWlucyBzLnIuby4xHTAbBgNVBAMMFHByb2QzeS1mcm9tLTIwMTgxMTAxMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAxcQkq+zdxlR2mmRYBPzGbUNdMN6OaXiXzxIWtMEkrJMO/5oUfQJbLLuMSMK0QHFmaI37WShyxZcfRCidwXjot4zmNBKnlyHodDij/78TmVqFl8nOeD5+07B8VEaIu7c3E1N+e1doC6wht4I4+IEmtsPAdoaj5WCQVQbrI8KeT8M9VcBIWX7fD0fhexfg3ZRt0xqwMcXGNp3DdJHiO0rCdU+Itv7EmtnSVq9jBG1usMSFvMowR25mju2JcPFp1+I4ZI+FqgR8gyG8oiNDyNEoAbsR3lOpI7grUYSvkB/xVy/VoklPCK2h0f0GJxFjnye8NT1PAywoyl7RmiAVRE/EKwIDAQABo4GZMIGWMAkGA1UdEwQCMAAwHQYDVR0OBBYEFGEpG9oZGcfLMGNBkY7SgHiMGgTcMEgGA1UdIwRBMD+AFKOetkhnQhI2Qb1t4Lm0oFKLl/GzoRykGjAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBggkA0myxg7KDeeEwEwYDVR0lBAwwCgYIKwYBBQUHAwEwCwYDVR0PBAQDAgWgMA0GCSqGSIb3DQEBCwUAA4ICAQAF8uc+YJOHHwOFcPzmbjcxNDuGoOUIP+2h1R75Lecswb7ru2LWWSUMtXVKQzChLNPn/72W0k+oI056tgiwuG7M49LXp4zQVlQnFmWU1wwGvVhq5R63Rpjx1zjGUhcXgayu7+9zMUW596Lbomsg8qVve6euqsrFicYkIIuUu4zYPndJwfe0YkS5nY72SHnNdbPhEnN8wcB2Kz+OIG0lih3yz5EqFhld03bGp222ZQCIghCTVL6QBNadGsiN/lWLl4JdR3lJkZzlpFdiHijoVRdWeSWqM4y0t23c92HXKrgppoSV18XMxrWVdoSM3nuMHwxGhFyde05OdDtLpCv+jlWf5REAHHA201pAU6bJSZINyHDUTB+Beo28rRXSwSh3OUIvYwKNVeoBY+KwOJ7WnuTCUq1meE6GkKc4D/cXmgpOyW/1SmBz3XjVIi/zprZ0zf3qH5mkphtg6ksjKgKjmx1cXfZAAX6wcDBNaCL+Ortep1Dh8xDUbqbBVNBL4jbiL3i3xsfNiyJgaZ5sX7i8tmStEpLbPwvHcByuf59qJhV/bZOl8KqJBETCDJcY6O2aqhTUy+9x93ThKs1GKrRPePrWPluud7ttlgtRveit/pcBrnQcXOl1rHq7ByB8CFAxNotRUYL9IF5n3wJOgkPojMy6jetQA5Ogc8Sm7RG6vg1yow==

x=np.array([[1,2,3,4],[5,6,7,8]])

array([[1, 2, 3, 4],

       [5, 6, 7, 8]])

x.flatten()

array([1, 2, 3, 4, 5, 6, 7, 8])

def function_2(x):

    return x[0]**2+x[1]**2

def numerical_gradient(f,x):

    grad = np.zeros_like(x)

    h=1e-4

    for idx in range(x.size):

        temp_v = x[idx]

        x[idx]=temp_v+h

        f1=f(x)

        print(x,f1)

        x[idx]=temp_v-h

        f2=f(x)

        print(x,f2)

        ret = (f1-f2)/(2*h)

        print(ret)

        x[idx]=temp_v

        grad[idx]=ret

        

    return grad

numerical_gradient(function_2,np.array([3,4]))

a=np.array([[[1,2],[3,4]],[[11,12],[13,14]]])

array([[[ 1,  2],

        [ 3,  4]],



       [[11, 12],

        [13, 14]]])

a.sum(axis=0)

array([[12, 14],

       [16, 18]])

a.sum(axis=1)

array([[ 4,  6],

       [24, 26]])

a.sum(axis=-3)

array([[12, 14],

       [16, 18]])

n1=np.array([0,1,0,0,0,0,1,0,0,0,0,0,0,1])

n1.nonzero()

(array([ 1,  6, 13], dtype=int64),)

np.array([1,2,3,4])

{	"size":0,

	"aggs":

	{

		"color":

		{

		"terms":{

			"field":"color"

		}

		}

	}

}

curl -X POST "10.18.6.102:9200/cars/transactions/_bulk" -H 'Content-Type: application/json' -d'

{ "index": {}}

{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }

{ "index": {}}

{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }

{ "index": {}}

{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" }

{ "index": {}}

{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" }

{ "index": {}}

{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" }

{ "index": {}}

{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }

{ "index": {}}

{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" }

{ "index": {}}

{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

'

PUT my_index/_mapping/_doc

{

  "properties": {

    "my_field": { 

      "type":     "text",

      "fielddata": true

    }

  }

}

ps -ef | grep "进程名" | grep -v grep | cut -c 10-16 | xargs kill -9

class First(object):

    def __init__(self):

        print("first")



class Second(First):

    def __init__(self):

        print("second")



class Third(First,Second):

    def __init__(self):

        print("third")

---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

<ipython-input-6-c90f7b77d3e0> in <module>()

      7         print("second")

      8 

----> 9 class Third(First,Second):

     10     def __init__(self):

     11         print("third")



TypeError: Cannot create a consistent method resolution order (MRO) for bases First, Second

import time

import gevent

import requests

def foo():

    print('Running in foo')



    r=requests.get('http://30daydo.com')

    print(r.status_code)

    print('Explicit context switch to foo again')



def bar():

    print('Explicit context to bar')



    r=requests.get('http://www.qq.com') # 

    print(r.status_code)

    print('Implicit context switch back to bar')



start=time.time()

gevent.joinall([

    gevent.spawn(foo),

    gevent.spawn(bar),

])

print('time used {}'.format(time.time()-start))

import time

import gevent

import requests

def foo():

    print('Running in foo')

    time.sleep(2) # 这样子不起作用

    print('Explicit context switch to foo again')



def bar():

    print('Explicit context to bar')

    time.sleep(2)

    print('Implicit context switch back to bar')



start=time.time()

gevent.joinall([

    gevent.spawn(foo),

    gevent.spawn(bar),

])

print('time used {}'.format(time.time()-start))

import time

import gevent

import requests

def foo():

    print('Running in foo')



    gevent.sleep(2) # 通过它各自yield向对方



    print('Explicit context switch to foo again')



def bar():

    print('Explicit context to bar')



    gevent.sleep(2)



    print('Implicit context switch back to bar')



start=time.time()

gevent.joinall([

    gevent.spawn(foo),

    gevent.spawn(bar),

])

print('time used {}'.format(time.time()-start))

最流行的版本控制软件：git

========================



git已经是当前最流行的版本控制软件之一了。全世界的程序员都在使用它。它出自linus大神之手，现在被用于内

核的版本控制。在最流行的代码托管软件github，你几乎可以找到所有开源项目的代码。



版块控制软件：我需要吗？

-----------------------



的确对于许多人——尤其是非程序员，他们可能不会想到已经出现了专门的版本控制的软件。但其实多人对版本控

制其实都有类似的需求，举个例子，Tom是社团的秘书处成员，他们经常需要做的事情就是写活动文档，然后不停地

改改到大家都觉得可以了。



不幸运的话，Tom可能有个文件夹叫“openSUSE活动策划"，里面有这样的一堆文件”openSUSE活动策划", "活动策

划1", "活动策划2", "活动策划3", "活动策划4" ... "活动策划20" （可怜的Tom，一份文档改了不少于20次）



这种作法很有效，因为我们可能发现第5个版本的策划有问题，我们准备在第3个版本上面重新来过。但是也看到，

这个作法有些很丑陋的地方：一份文件，我们留了20个备份，而且还要注意文件名。



如果可以这样就好了：文件夹上只有一个“openSUSE活动策划"，但当我需要第5个版本的时候，我来一个”给我还

原到第5个版本吧！“，然后这时候我们打开这个文件，它就是第5个版本的了。类似的，我们可以取出任意的版本

。



这就是版本控制。这种事情在程序里面发生的太多了，于是出现了各种版本控制软件。事实上，有些项目已经发展

到第1000+甚至更高的版本数了……



单线的工作流

------------



我们可以把我们的一个项目想象为一个仓库，然后我们可以把我们的东西塞进仓库里面，也可以把想要的东西拿出

来。而git则是仓库的管理员。下面是一个例子，希望有一个直观的印象，不求完全的理解和掌握。



```bash

mkdir myproject // 假设myproject是工作目录

cd myproject    

git init        // git <- (init) ，告诉仓库管理员，在当前目录初始化

echo 'Eat the banana' > file   // 编辑了一个文件

git add file                   // 加入仓库

git commit -m 'add first file' // 提交更改

echo 'Eat the apply' > file    // 修改了这个文件

git add file                   // 加入仓库

git commit -m 'update first file' // 再提交更改

```



这时候我们就有两个commit了，我们来看看工作日志：



```bash

git log



# 以下是输出

# commit ac1371173b4e630ddaebda3f9f5d948b36146c07

# Author: Norman Mo <LTaoist@@@>

# Date:   Thu Jun 27 21:59:10 2013 +0800

#

#     update first file

#

# commit 3c43cc913454f92bb4b80c56ba45e4ffaf556fc0

# Author: Norman Mo <LTaoist6@@@@>

# Date:   Thu Jun 27 21:58:48 2013 +0800

#

#     add first file

```



看到了，我们提交了两次。我们来看看现在file里面是什么：



```bash

cat file # 显然输出是 'Eat the apply'

# 现在，我们来拿回第一个版本的file文件

git checkout 3c43cc913454f92bb4b80c56ba45e4ffaf556fc0 -- file

cat file # 这时候就是eat banana了

```



这种工作的方式是单人使用最常见的方式，写一点代码，提交一下到仓库里面。写一点，提交到仓库里面。然后出

问题的时候就回退过去。git非常强大，基本上你想到的他都可以做到，提交到仓库的数据基本不会丢失，像时间机

器一样控制着代码。



多人协作

--------



git非常强大，上面只是一个功能。考虑Tom的秘书处有两个人，他们在同时写。其中Tom写前6章，他的同伴写第7～

12章。



这时候可以考虑用这种工作的方式：设立一个公共的仓库。Tom维护自己的版本，他的同伴维护自己的版本。然后大

家定期把代码合并到公共仓库上面，然后定期把新的版本取回来合并再提交到公共仓库。



如果他们用纯文本，得益于一些文本分析的方法，几乎不需要校对就可以做到。



```

git commit -m 'finish ch5' // 假设此时Tom写完了第5章

git push // Tom将代码推送到远程仓库

```



```

git commit -m 'finish ch11' // 假设此时Tom的同伴完成了第11章

git pull // pull会将最新版本拉下来，合并，然后推送到远程仓库

```



实际上工作中，为了不混淆，会新开一个分支来开发新的特性，然后对分支进行合并。



代码自动发布

-----------



另一个很强大的功能是可以实现代码的自动发布。事实上，很多云就有使用这个。具体来说，利用git的hooks，当

服务器收到一个push，服务器可以自动运行一些脚本。也可以在客户端使用hooks，当客户端准备push的时候，客户

端先运行一些脚本。



例如，我们希望在每次服务器收到push以后，杀死全部的 `p` 进程，然后重开 `p` 进程。我们可以修改 `hooks/

post-receive` :



```

echo "Killing all p process..."

killall -9 p

echo "Restart p process..."

p

```



更多更多更多……

---------------



这份教程就到这里了，更多的自己马上动手去试试吧！



在openSUSE的安装方法：



```

sudo zypper in git

```



默认应该就装了。



一般linux命令查看帮助都是 `--help` 选项：



```

git --help

```



此外，对一个子命令也是有help看的：



```

git init --help

```



这里有一个交互教程，在浏览器上面跑的模拟git的运行的，有兴趣的试试：



<http://try.github.io/>



github的help文档写得很不错，推荐一下：



<https://help.github.com/>



书籍有个远近闻名的《Pro Git》，而且有中文版的，虽然我认为这本书太厚了。。。但似乎就这么一本书……



<http://git-scm.com/book/zh>



国内有个gitcafe，也是做git托管的，他们也有整理一份help：



<https://gitcafe.com/GitCafe/Help>



记得，上面只是一个演示，多试试push，多尝试。有一天你会喜欢用这个有效的工具的。



很有用！！！

127.0.0.1 qq.com

127.0.0.1 cnbeta.com

10.4.16.75 windows10.microdone.cn

50.112.79.106 mukodik

0.0.0.0 account.jetbrains.com

./kafka-server-start.sh -daemon ../config/server.properties

systemctl stop firewalld.service #关闭防火墙

systemctl disable firewalld.service #禁止启动防火墙

C:\ProgramData\Anaconda3\python.exe C:/git/base_function/kafka_usage.py

Traceback (most recent call last):

  File "C:/git/base_function/kafka_usage.py", line 6, in <module>

    from kafka import KafkaProducer

  File "C:\ProgramData\Anaconda3\lib\site-packages\kafka\__init__.py", line 23, in <module>

    from kafka.producer import KafkaProducer

  File "C:\ProgramData\Anaconda3\lib\site-packages\kafka\producer\__init__.py", line 4, in <module>

    from .simple import SimpleProducer

  File "C:\ProgramData\Anaconda3\lib\site-packages\kafka\producer\simple.py", line 54

    return '<SimpleProducer batch=%s>' % self.async

                                                  ^

SyntaxError: invalid syntax

line=Line()

line.add('可转债个数趋势',b,v,mark_line=["average"], mark_point=["max", "min"])

<class 'pandas.core.frame.DataFrame'>

RangeIndex: 307 entries, 0 to 306

Data columns (total 7 columns):

日期         307 non-null datetime64[ns]

指数         307 non-null float64

成交额(亿元)    307 non-null float64

涨跌         307 non-null float64

涨跌额        307 non-null float64

转债数目       307 non-null float64

剩余规模       307 non-null float64

dtypes: datetime64[ns](1), float64(6)

memory usage: 16.9 KB

[numpy.datetime64('2017-12-29T00:00:00.000000000'),

 numpy.datetime64('2018-01-02T00:00:00.000000000'),

 numpy.datetime64('2018-01-03T00:00:00.000000000'),

 numpy.datetime64('2018-01-04T00:00:00.000000000'),

 numpy.datetime64('2018-01-05T00:00:00.000000000'),

 numpy.datetime64('2018-01-08T00:00:00.000000000'),

 numpy.datetime64('2018-01-09T00:00:00.000000000'),

 numpy.datetime64('2018-01-10T00:00:00.000000000'),

 numpy.datetime64('2018-01-11T00:00:00.000000000'),

 numpy.datetime64('2018-01-12T00:00:00.000000000'),

 numpy.datetime64('2018-01-15T00:00:00.000000000'),

 numpy.datetime64('2018-01-16T00:00:00.000000000'),

 numpy.datetime64('2018-01-17T00:00:00.000000000'),

b=list(df['日期'].dt.to_pydatetime())

[datetime.datetime(2017, 12, 29, 0, 0),

 datetime.datetime(2018, 1, 2, 0, 0),

 datetime.datetime(2018, 1, 3, 0, 0),

 datetime.datetime(2018, 1, 4, 0, 0),

 datetime.datetime(2018, 1, 5, 0, 0),

 datetime.datetime(2018, 1, 8, 0, 0),

 datetime.datetime(2018, 1, 9, 0, 0),

 datetime.datetime(2018, 1, 10, 0, 0),

 datetime.datetime(2018, 1, 11, 0, 0),

 datetime.datetime(2018, 1, 12, 0, 0),

 datetime.datetime(2018, 1, 15, 0, 0)

['2017-12-29',

 '2018-01-02',

 '2018-01-03',

 '2018-01-04',

 '2018-01-05',

 '2018-01-08',

 '2018-01-09',

 '2018-01-10',

 '2018-01-11',

 '2018-01-12',

 '2018-01-15',

 '2018-01-16',

 '2018-01-17',]

timestamp转换为datetime

要把timestamp转换为datetime，使用datetime提供的fromtimestamp()方法：



>>> from datetime import datetime

>>> t = 1429417200.0

>>> print(datetime.fromtimestamp(t))

2015-04-19 12:20:00

注意到timestamp是一个浮点数，它没有时区的概念，而datetime是有时区的。上述转换是在timestamp和本地时间做转换。



本地时间是指当前操作系统设定的时区。例如北京时区是东8区，则本地时间：



2015-04-19 12:20:00

实际上就是UTC+8:00时区的时间：



2015-04-19 12:20:00 UTC+8:00

而此刻的格林威治标准时间与北京时间差了8小时，也就是UTC+0:00时区的时间应该是：



2015-04-19 04:20:00 UTC+0:00

timestamp也可以直接被转换到UTC标准时区的时间：



>>> from datetime import datetime

>>> t = 1429417200.0

>>> print(datetime.fromtimestamp(t)) # 本地时间

2015-04-19 12:20:00

>>> print(datetime.utcfromtimestamp(t)) # UTC时间

2015-04-19 04:20:00