미국 신생아 이름 분석

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

names2010 = pd.read_csv('data/names/yob2010.txt', names=['name', 'sex', 'births'])
names2010.head()

names2010.shape

names2010.groupby('sex').births.sum()

years = range(1880, 2011)
pieces = []
columns = ['name', 'sex', 'births']

for year in years:
    path = 'data/names/yob%d.txt' % year
    df = pd.read_csv(path, names=columns)

    df['year'] = year
    pieces.append(df)

# 하나의 dataframe으로 취합. 
names = pd.concat(pieces, ignore_index=True)  # ignore_index : 원래의 행순서 상관없음.
names.head()

names.tail()

total = names.groupby(['year', 'sex']).births.sum()
total.head(10)

total_births = names.pivot_table('births', index='year', columns='sex', aggfunc=sum)
total_births.head()

plt.figure()
total_births.plot(title='Total births by sex and year')

# 년도별 성별 그룹핑

ysGrouped = names.groupby(['year', 'sex'])

g = []
for name, group in ysGrouped:
    g.append(name)
    
print(g[:10])

ysGrouped.get_group((2000,'F')).head()   # 특정 그룹에 속한 데이터

# 각 이름이 각 그룹에서 차지하는 비율

def add_prop(group):
    births = group.births.astype(float)
    group['prop'] = births / births.sum()
    return group

names = ysGrouped.apply(add_prop)
names.head()

# 그룹별로 비율의 합이 1이 맞는지 확인

np.allclose(names.groupby(['year', 'sex']).prop.sum(), 1)

# 그룹별로 사용 빈도수가 높은 이름 1000 개 추출

def get_top1000(group):
    #group = group[group['prop'] > 0.01]  # 사용 비율로 필터링.
    return group.sort_values(by='births', ascending=False)[:1000]

top1000 = names.groupby(['year', 'sex']).apply(get_top1000)
top1000.index = np.arange(len(top1000))
top1000.head()

top1000.tail()

boys = top1000[top1000.sex == 'M']
girls = top1000[top1000.sex == 'F']

girls.shape

girls.head()

# pandas groupby --> dataframe --> sort

girlsRating = pd.DataFrame(girls.groupby('name').births.sum())
girlsRating.sort_values(by='births', ascending=False).head()

# 각 이름의 년도별 사용 트렌드

total_births = top1000.pivot_table('births', index='year', columns='name', aggfunc=sum)
total_births.tail()

# 여자 이름 상위 5개

subset = total_births[['Mary', 'Patricia', 'Elizabeth', 'Jennifer', 'Linda']]

subset.plot(subplots=True, figsize=(10,10), grid=False, title='Girls name trend')

# 상위 이름 1000개가 전체에서 차지하는 비율

table = top1000.pivot_table('prop', index='year', columns='sex', aggfunc=sum)
table.plot(title='Sum of top1000.prop',
           yticks=np.linspace(0, 1.2, 13), xticks=range(1880, 2020, 10))

# 년도별 사용하는 이름 갯수 - 점점 더 다양한 이름을 사용하는 경향

nameCounts = pd.DataFrame(names.groupby('year').size())
nameCounts.columns = ['Names']
nameCounts.plot(title='Counts of Name', yticks=np.linspace(0, 40000, 9), xticks=range(1880, 2020, 10))

# 남녀별 사용하는 이름의 다양성 비교 (전체의 50% 차지하는 이름의 갯수)

def get_quantile_count(group, q=0.5):
    group = group.sort_values(by='prop', ascending=False)    # 그룹별 prop 기준 정렬
    return group.prop.cumsum().values.searchsorted(q) + 1   # prop 누계가 0.5인 index 찾기

diversity = top1000.groupby(['year', 'sex']).apply(get_quantile_count)
diversity = diversity.unstack('sex')   # 결과를 표로 재배치
diversity.tail()

diversity.plot(title="Number of popular names in top 50%")
# 여자 이름이 남자 이름보다 더 다양. 시간이 흐를수록 다양성 높아짐.

get_last_letter = lambda x: x[-1]
last_letters = names.name.map(get_last_letter)
last_letters.name = 'last_letter'

# 년도별, 성별 마지막 글자

table = names.pivot_table('births', index=last_letters, columns=['sex', 'year'], aggfunc=sum)
table.head()

subtable = table.reindex(columns=[1950, 2010], level='year') # year 컬럼 기준으로 binning
subtable.head()

letter_prop = subtable / subtable.sum().astype(float)

fig, axes = plt.subplots(2, 1, figsize=(10, 10))
letter_prop['M'].plot(kind='bar', rot=0, ax=axes[0], title='Male')
letter_prop['F'].plot(kind='bar', rot=0, ax=axes[1], title='Female', legend=False)

# 남자이름 d,n,r,s,y - 급격한 변화. 년도별 추세 확인.

letter_prop = table / table.sum().astype(float)
ts_5 = letter_prop.ix[['d', 'n', 'r', 's', 'y'], 'M'].T
ts_5.head()

plt.close('all')
ts_5.plot()   # 1960년대 이후로 n으로 끝나는 남자이름 급격한 증가.

get_first_letter = lambda x: x[0]
first_letters = names.name.map(get_first_letter)
first_letters.name = 'first_letter'

table = names.pivot_table('births', index=first_letters, columns=['sex', 'year'], aggfunc=sum)
table.head()

subtable = table.reindex(columns=[1950, 2010], level='year') # year 컬럼 기준으로 binning
subtable.head()

letter_prop = subtable / subtable.sum().astype(float)
fig, axes = plt.subplots(2, 1, figsize=(10, 10))
letter_prop['M'].plot(kind='bar', rot=0, ax=axes[0], title='Male')
letter_prop['F'].plot(kind='bar', rot=0, ax=axes[1], title='Female', legend=False)

letter_prop = table / table.sum().astype(float)
ts_5 = letter_prop.ix[['A', 'D', 'J', 'P', 'Z'], 'F'].T
ts_5.head()

plt.close('all')
ts_5.plot()   
# 1920 ~ 60년대에는 A 대신 D 또는 J 로 시작하는 이름이 유행. 
# 1990년대에 Z로 시작하는 이름을 많이 사용하기 시작.