【3日目】Udemy講座で学ぶ！実践 Python データサイエンス: Udemyで技術習得！気の向くままにのんびりと

2019年10月27日

【3日目】Udemy講座で学ぶ！実践 Python データサイエンス

進捗 29%
順調に進めている。

■セクション4：Pandas入門

Series, Frameの基本の勉強。
相変わらず、２倍速で講義は聞いて、概要をメモしてそれをjupyter notebookで再現する作業を繰り返している。
講義を聞いた時はできる！と思っても、いざ、手を動かすとまったくイメージが違い、エラーが出まくる。自分で書くので習得している感覚があるのが良い。

それにしても、Series, DataFrameはたくさん機能がある。実際どのぐらいの違いがあるのか？
ということでこれらのattribute, methodsを抽出するプログラムを書いてみた。


import bs4
import requests
from pandas import Series

infolist =[]
infolist.append({
    'url':'https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.html',
    'name':"DataFrame",
    'index':[1,2]
    })
infolist.append({
    'url':'https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.html',
    'name':"Series",
    'index':[1,3] #Seriesのページはemptyの表があるのでそれをスキップするため、1,3とした
    })

for info in infolist:
    print(info['url'])
    result = requests.get(info['url'])
    c = result.content
    processed =bs4.BeautifulSoup(c,'lxml')
    
    print(info['name'])
    id_name = 'pandas-' + info['name'].lower()
    
    summary = processed.find_all('div',{'class':'section','id':id_name})

    tables = summary[0].find_all('table')

    cat = Series(info['index'], index={"Attribute", "Methods"})

    for index in cat.index:    
        rows = tables[cat[index]].find_all('tr')

        data = []

        for row in rows:
            cells = row.find_all('td')
            t = cells[0].find(text=True)
            data.append(t)

        print("{} : count:{}".format(index,len(data)))
        for i in data:
            print(i)

        print("")