Python PANDAS

Pandasとは

データ分析(データサイエンス)ライブラリ
・データの統計量表示
・データのグラフ化
等

Series

一次元データ構造
Value + Index
DataFrameの構成要素となる

List→Series

import pandas as pd

list = ['CakePHP3', 'Django', 'Spring-Boot']
s = pd.Series(list)

0	CakePHP3
1	Django
2	Spring-Boot

# Index未定義の場合は自動で定義される

二次元List→Series

list = [['CakePHP3', 'Laravel'],['Django', ''],['Spring-Boot','Struts']]
s = pd.Series(list)

0	[CakePHP3, Laravel]
1	[Django, ]
2	[Spring-Boot, Struts]

# Seriesで二次元を表現すると、値が配列になる

Indexを定義

list = ['CakePHP3', 'Django', 'Spring-Boot']
s = pd.Series(list, index=['php', 'Python', 'Java'])

php	CakePHP3
Python	Django
Java	Spring-Boot

連想配列→Series

dic = {'php':'CakePHP3', 'Python':'Django', 'Java':'Spring-Boot'}
s = pd.Series(dic)

php	CakePHP3
Python	Django
Java	Spring-Boot

# 連想配列のKeyが自動でIndexと見なされる

dic = {'php':'CakePHP3', 'Python':'Django', 'Java':'Spring-Boot'}
s = pd.Series(dic, index=['php', 'Python', 'Java', 'C#'])

php	CakePHP3
Python	Django
Java	Spring-Boot
C#	NaN

# Index：C#のValueは指定されていないのでNaN(Not a Number)に

Valueの取得

print(s[0]) # CakePHP3
print(s['php']) # CakePHP3

Valueの追加

result = s.append(s)

php	CakePHP3
Python	Django
Java	Spring-Boot
php	CakePHP3
Python	Django
Java	Spring-Boot

Seriesは二次元にはならない

DataFrame

二次元データ構造
Seriesを要素に持つ

連想配列→DataFrame

Key=Column、Value=Value
dic = {'FW1':['CakePHP3', 'Django', 'Spring-Boot'], 'FW2':['Laravel', '', 'Struts']}
df = pd.DataFrame(dic, index=['php', 'Python', 'Java'])

	FW1	FW2
php	CakePHP3	Laravel
Python	Django	Django
Java	Spring-Boot	Struts

Valueが配列でない連想配列はエラー
dic = {'php':'CakePHP3', 'Python':'Django', 'Java':'Spring-Boot'}
df = pd.DataFrame(dic)
print(df)# エラー

Valueが配列の連想配列からDataFrameを定義
Key=Column、Value=Value
dic = {'php':['CakePHP3'], 'Python':['Django'], 'Java':['Spring-Boot']}
df = pd.DataFrame(dic)

	php	Python	Java
0	CakePHP3	Django	Spring-Boot

リスト→DataFrame

list = ['CakePHP3', 'Django', 'Spring-Boot']
df = pd.DataFrame(list)

0	CakePHP3
1	Django
2	Spring-Boot

Indexを定義

list = ['CakePHP3', 'Django', 'Spring-Boot']
df = pd.DataFrame(list, index=['php', 'Python', 'Java'])

	0
php	CakePHP3
Python	Django
Java	Spring-Boot

Columnを定義
list = ['CakePHP3', 'Django', 'Spring-Boot']
df = pd.DataFrame(list, columns=['FW'])

	FW
0	CakePHP3
1	Django
2	Spring-Boot

Index + Columnを定義
list = ['CakePHP3', 'Django', 'Spring-Boot']
df = pd.DataFrame(list, index=['php', 'Python', 'Java'], columns=['FW'])

	FW
php	CakePHP3
Python	Django
Java	Spring-Boot

Series→DataFrame

s = pd.Series({'php':'CakePHP3', 'Python':'Django', 'Java':'Spring-Boot'})
df = pd.DataFrame(s)

php	CakePHP3
Python	Django
Java	Spring-Boot

Columnを定義
s = pd.Series({'php':'CakePHP3', 'Python':'Django', 'Java':'Spring-Boot'})
df = pd.DataFrame(s, columns=['FW'] )

	FW
php	CakePHP3
Python	Django
Java	Spring-Boot

参考
Seriesの二次元配列
df = pd.DataFrame([s, s])

	php	Python	Java
0	CakePHP3	Django	Spring-Boot
1	CakePHP3	Django	Spring-Boot

参考
連想配列のValueがSeriesの場合
# Series→DataFrame
idx = ['php', 'Python', 'Java']
FW = pd.Series(['CakePHP3', 'Django', 'Spring-Boot'])
exp = pd.Series([3, 1, 3])
dic = {'FW':FW, 'exp':exp}
df = pd.DataFrame(dic)

	FW	exp
0	CakePHP3	3
1	Django	1
2	Spring-Boot	3

列追加

df = pd.DataFrame(
　　{'FW':['CakePHP3', 'Django', 'Spring']},
　　index=['php', 'Python', 'Java'])

	FW
php	CakePHP3
Python	Django
Java	Spring-Boot

df['exp'] = 0

	FW	exp
php	CakePHP3	0
Python	Django	0
Java	Spring-Boot	0

df['exp'] = [3, 1, 3]

	FW	exp
php	CakePHP3	3
Python	Django	1
Java	Spring-Boot	3

要素数不一致エラー
#df['exp'] = [3, 1, 3, 5]

関数
new = df.assign(exp=[3, 1, 3], per=[5, 3, 5])

	FW	exp
php	CakePHP3	5
Python	Django	3
Java	Spring-Boot	5

inplace不可、同名の列を指定した場合は上書き

Seriesで列追加

df = pd.DataFrame({'FW':['CakePHP3', 'Django', 'Spring']})
df.index = ['php', 'Python', 'Java']

	FW
php	CakePHP3
Python	Django
Java	Spring

s = pd.Series([3, 1, 3], index=['php', 'Python', 'Java'])

php	3
Python	1
Java	3

df['exp'] = s

	FW	exp
php	CakePHP3	3
Python	Django	1
Java	Spring	3

行列転換

new = df.T

	php	Python	Java
FW	CakePHP3	Django	Spring
exp	3	1	3

Index

Indexオブジェクト

DBにおける各レコードに名称を付ける様な概念
a = pd.DataFrame(
　　[[1,1,1,],[2,1,2],[3,2,3]],
　　#Indexオブジェクト：ラベル
　　index=["one","two","three"],
　　#Indexオブジェクト：カラム名
　　columns=["a","b","c"]
)

	a	b	c
one	1	1	1
two	2	1	2
three	3	2	3

※ラベル、カラム名は重複可能

print(a.index)
# Index(['one', 'two', 'three'], dtype='object')

print(a.index[1])
# two
# 0～2まで

print(a.index[0:3])
Index(['one', 'two', 'three'], dtype='object')

後からIndexのみ定義
a = pd.Series(['CakePHP3', 'Django', 'Spring'])
a.Index = ['php', 'Python', 'Java']

Indexオブジェクトの変更エラー

idx = ['php', 'Python', 'Java']
list = ['CakePHP3', 'Django', 'Spring']
col = ['FW']
s = pd.Series(list)

0	CakePHP3
1	Django
2	Spring

df = pd.DataFrame(s, columns=['FW'], index=idx)

	FW
php	NaN
Python	NaN
Java	NaN

→Seriesを定義した時点でIndexも定義されいる為、上書きするとValueがNaNに

Indexオブジェクトの変更方法

print(a.columns)
# Index(['a', 'b', 'c'], dtype='object')

a.index[1] = 'new' # エラー

Index名を変更した新しいDataFrameを取得
b = a.rename(index={'two':'new'})
print(b.index)
# Index(['one', 'new', 'three'], dtype='object')

Indexオブジェクトの置き換え
a.rename(index={'two':'new'}, inplace=True)
print(a.index)
# Index(['one', 'new', 'three'], dtype='object')

Indexを列で設定

df

	FW	exp
php	CakePHP3	3
Python	Django	1
Java	Spring	3

new = df.set_index('FW')

	exp
FW
CakePHP3	3
Django	1
Spring	3

データ情報

行数、列数

print(df.shape)
(行数, 列数)

データ型

print(df.dtypes)

列1 object
列2 int64
列3 float64

要約統計量

result = df['列名'].describe()

count	要素の個数
mean	算術平均
std	標準偏差
min	最小値
max	最大値
25%	1/4分位数
50%	中央値（median）
75%	3/4分位数

カウント

指定列の値毎のカウント
df['temperature'].value_counts()

7.8	4
13.8	3
28.8	3
25.2	3
26.0	3

グループ化

name列でグループ化
df.groupby(['name'])

name列でグループ化した上でweek列のカウント数
df.groupby(['name'])['week'].count()

味噌焼き	3
唐揚	1
唐揚げ	1
唐揚げおろし	4

ソート

df.sort_values(by='kcal', ascending=True)

NaNを先頭に(デフォルト='last')
df.sort_values(by='kcal', ascending=False, na_position='first')

置換
df.sort_values(by='kcal', ascending=False, inplace=True)

複数キーのソート
df.sort_values(by=['soldout','datetime'], ascending=[False, True]))

Index名でソート (デフォルト=True)
df.sort_index(ascending=False)

データ取得

指定行、列表示

先頭5行表示
df.head()

先頭10行表示
df.head(10)

末尾5行表示
df.tail()

末尾10行表示
df.tail(10)

指定列のみ
df[['列1','列5']].head(10)

列番号で指定
df[5:10].head(10)

指定行(全列)
※0から
df.loc[100]

指定行、指定列
df.iloc[[1,2,5][2,4]]
df.iloc[[行1,行2,行5][列2,列4]]

条件を指定
df[df['列名'] > 450]

複数条件を指定
df[['列名1', '列名2']].query('列名1 > ～ and 列名2 == "～"')

重複を削除して表示
df['列名'].unique()
array(['値1', '値2', '値3'])

重複削除
result = df['列名'].drop_duplicates()

その他

JupyterNotebookカレントディレクトリ

import os

os.getcwd()
'C:\\Users\\～\\Desktop'

CSVファイルの読込

JupyterNotebookでuploadしたCSVファイルの読込
import pandas as pd

df= pd.read_csv('～.csv')
df= pd.read_csv('～.csv', sep=',')