210723_Concat,Merge

DataFrame - 데이터 병합

 

• Concat
  
  단순히 하나의 DataFrame에 다른 DataFrame 을 연속적으로 붙이는 방법
  이 경우에는 두 DataFrame 이 서로 동일한 인덱스, 컬럼을 가지고 있는 경우가 대부분이다.
  위, 아래로 연결되는 방식이 기본이지만 좌, 우 연결도 가능하다.
  outer join이 기본으로 동작
  key를 이용한 Concat 활용해서 사용한다.

 

• Merge
  
  두 개의 DataFrame을 병합.
  좌, 우로 연결되는 방식이 기본.
  inner join이 기본으로 동작
  on을 이용해 Merge 활용해서 사용한다.

 

 

pandas 의 concat

 

import numpy as np
import pandas as pd
from pandas import DataFrame, Series
import matplotlib.pyplot as plt

 

 

df1 = DataFrame({
    'A':['A0','A1','A2','A3'],
    'B':['B0','B1','B2','B3'],
    'C':['C0','C1','C2','C3'],
    'D':['D0','D1','D2','D3'],
    
    })
df1

 

 

df2 = pd.DataFrame({
    'A':['A4', 'A5', 'A6', 'A7'],
    'B':['B4', 'B5', 'B6', 'B7'],
    'C':['C4', 'C5', 'C6', 'C7'],
    'D':['D4', 'D5', 'D6', 'D7'],
    })
df2

 

 

# concat ([]) : 위 DataFrame 을 합쳐보자 

 

'''
df1, df2 데이터를 가만히 보자
어떻게 병합하는게 좋을까?
--> 상하 연결
--> pandas 에서 제공하는 함수 concat()

:: 결과를 확인하면 
인덱스가 0,1,2,3,0,1,2,3 
동일한 인덱스 값이 그대로 반복되어져 있다.
ignore_index = True 옵션을 지정한다.

'''

result1 = pd.concat([df1,df2])
result1

 

 

# 좌우병합 : axis = 1

# 컬럼명 인덱스로 대체 : ignore_index = True 

 

# 좌우 병합은? axis = 1
# ignore_index = True 지정, 해당 컬럼명이 인덱스로 대체된다.

result1 = pd.concat([df1, df2], axis = 1, ignore_index=True) # 행이아닌 열로 합쳐진다
result1

 

 

result1 = pd.concat([df1, df2], axis = 1) # 행이아닌 열로 합쳐진다
result1

 

 

 

# Keys

 

result1 = pd.concat([df1,df2], keys=['X','Y'])
result1

 

 

df3 = DataFrame({
    'A':['A0','A1','A2','A3'],
    'B':['B0','B1','B2','B3'],
    'C':['C0','C1','C2','C3']      
})
df3

 

df4 = pd.DataFrame({
    'A':['A4', 'A5', 'A6', 'A7'],
    'B':['B4', 'B5', 'B6', 'B7'],
    'C':['C4', 'C5', 'C6', 'C7'],
    'D':['D4', 'D5', 'D6', 'D7'],
})
df4

 

 

 

# outerjoin

: join 시 없는 데이터에 누락데이터를 만들어서 병합

 

'''
위 df3, df4 데이터는 행과 열 인덱스가 일치하지 않는 데이터 프레임이다.
axis = 0 을 기준으로 병합 하기 때문에 concat은 상하로 데이터를 이어 붙이게 될 것이다.
어떤 현상이 발생할까?

join시 없는 데이터에 
누락데이터가 만들어서 병합된다 = outerjoin

'''

result2 = pd.concat([df3, df4], ignore_index=True) # join= 'outer' 가 디폴트
result2

 

 

 

 

# innerjoin

: join 시 둘다 가지고 있는 컬럼값 (행 인덱스) 만 가져온다 

 

 

result3 = pd.concat([df3, df4], ignore_index=True, join='inner')
result3 # 둘다 가지고 있는 컬럼값(행 인덱스)만 가져온다 = innerjoin

 

 

Pandas 의 Merge

 

 

'''
df1, df2 는 인덱스만 다를 뿐 모든 값을 동일하게 가지고 있다.
df3 Color_num 이라는 다른컬럼을 모두 가지고 있다.

'''

df1 = DataFrame({ 'Year':[2001,2002,2003,2004],
                  'Product_Code':[11,22,33,44],
                  'Price':[10000,20000,30000,40000]},
                   index=list('1234'))
df1

df2 = DataFrame({ 'Year':[2001,2002,2003,2004],
                  'Product_Code':[11,22,33,44],
                  'Price':[10000,20000,30000,40000]},
                   index=list('5678'))
df2

df3 = DataFrame({ 'Year':[2001,2003,2004,2005],
                  'Product_Code':[11,22,33,44],
                  'Color_num':[33,44,55,99]},
                   index=list('1234'))
df3

df1,       df2,       df3

 

 

# df1, df2 를 merge 

 

# df1, df2 를 merge 
# 1.표현법이 concat과 다르다, [] 들어가지 않는다
# 2.인덱스와 상관없이 병합되고 (+좌우병합) 값 들은 중복 표기되지 않는다. (동일하다면)

result1 = pd.merge(df1,df2)
result1

 

 

 

# df1_1 과 df1을  merge

 

# df1_1 과 df1을  merge

df1_1 = DataFrame({ 'Year':[2001,2002,2003,2004],
                  'Product_Code':[11,22,33,44],
                  'Price':[1,2,3,4]},
                   index=list('1234'))
result2 = pd.merge(df1,df1_1)
result2 # 결과가 나오지 않는다, 그렇기 때문에 'on'을 사용해야한다.

# merge 할때는 주로 특정한 컬럼을 기준으로 병합을 한다.
# 기준이 되는 컬럼 외에는 다 중복으로 데이터가 표기된다.
# on : 병합할 때 기준이 되는 컬럼을 지정
result2 = pd.merge(df1,df1_1, on = 'Year')
result2

 

 

result3 = pd.merge(df1, df1_1, on = ['Year','Product_Code'])
result3

 

 

 

 

set_index()

 

특정한 컬럼을 인덱스로 지정함으로써
데이터 프레임을 좀 더 깔끔하고 직관적으로 디스플레이 할 수 있다.

 

 

result3.set_index('Year', inplace=True)
result3

 

 

---

 

 

# 문제1  df1 과 df3 을 merge 

 

 

 

 

 

 

 

# Year를 기준으로 병합

 

# Year를 기준으로 병합

result3 = pd.merge(df1, df3, on = 'Year')
result3

 

 

 

 

 

# how = 'outer'

 

# how 옵션이 있다. 어떻게 merge할 것인가? join과 동일한 옵션
# 여기서 inner가 디폴트이다.

result4 = pd.merge(df1, df3, on = 'Year', how = 'outer')
result4

 

 

 

result5 = pd.merge(df1, df3, on = 'Year', how = 'inner') # 디폴트
result5

 

 

result6 = pd.merge(df1, df3, on = 'Year', how = 'left') # df1 컬럼위주로 병합
result6

 

 

 

result7 = pd.merge(df1, df3, on = 'Year', how = 'right') # df3 컬럼위주로 병합
result7