이번 Post에서 사용하는 데이터는 농림축산식품교육문화정보원에서 수집하여 공공데이터포털을 통해 제공되는 농수축산물 도매시장 상세 경락가격 Open API에서 수집한 데이터로 AWS S3 Agdata Lab 저장소에서 다운로드할 수 있다. 수집 기간은 2015년 1월부터 2018년 7월까지이며(정확히는 2018년 8월 1일) 전국 34개의 농산물 공영도매시장에서 거래된 당근 품목의 모든 데이터가 기록되어 있다.

먼저 csv파일을 읽어와서 dat 데이터로 저장하고 측정치 개수를 확인해보자. 그 결과 558,225개로, 총 43개월 중(2015년 1월 ~ 2018년 7월) 월 20일 도매시장이 개장되었다고 가정했을 때 하루 평균 거래 건수는 649.1건으로 단순화해서 볼 수 있겠으나, 날짜별 거래건수를 합해서 내림차순으로 정렬해서 상위 거래 건수를 확인해보면 거래가 많을 때는 1,000건 이상 있었던 것을 확인할 수 있다.

dat <- read.csv('carrot_2015-2018.csv')
print(paste('number of observation :',nrow(dat)))

## [1] "number of observation : 558225"

dat %>% group_by(date) %>% tally() %>% arrange(desc(n)) %>% head()

## # A tibble: 6 x 2
##       date     n
##      <int> <int>
## 1 20170512  1454
## 2 20170417  1273
## 3 20170120  1102
## 4 20170414  1090
## 5 20180213  1085
## 6 20170428  1061

앞선 포스트와 같이 필요한 변수들을 설정해준 후, histogram을 이용한 분포를 보면, 최대 kg당 약 10만원에 거래된 당근이 있는 것을 확인할 수 있다. 다시 kg당 5,000원 미만으로 필터링하여 histogram을 그려보면 실제 거래가 가장 많이 일어나고 있는 가격 범위는 1,500원 이하인 것을 확인할 수 있다.

gh1 <- ggplot(dat, aes(x = price_per_kg)) + geom_histogram(fill = "red", color = "red", bins = 1000)  
gh2 <- ggplot(dat %>% filter(price_per_kg<=5000), aes(x = price_per_kg)) + geom_histogram(fill = "firebrick2", color = "firebrick2", bins = 1000) 
grid.arrange(gh1, gh2, ncol=1, nrow=2)

아래 표와 같이 price_per_kg을 내림차순으로 정렬하여 상위 30개를 추려보면, 산지가 서울특별시 송파구인 곳이 많은 것을 알 수 있다. prut의 경우 1 이하인 것이 많은 것 또한 확인할 수 있다. 데이터를 들여다보면, 너무 낮거나 높은 price_per_kg값을 가지는 데이터들은 prut값이 일반적이지 않은 것을 볼 수 있다. price_per_kg이 너무 낮은 것들은 대부분 기존의 prut값을 10 또는 100으로 나눠주면 평균 당근 도매가와 비슷한 가격이 나온다. 반대로, price_per_kg이 너무 높은 것들은 prut값에 10 또는 100을 곱해주면 평균 당근 도매가와 비슷한 가격이 나오는 것을 확인할 수 있다. 그래서 이상치의 원인은 잘못된 prut값에 있지 않을까하는 생각을 하게 되었다.

raw 데이터에서 산지가 송파구인 데이터만 필터링하여 단위가격이 낮은 순에서 높은 순으로 정렬하였다. 약 28,440번째 순위에서 급격하게 증가하는 것을 볼 수 있다. 또한 그 중 1kg 이하의 거래단량을 가진 거래들에서 높은 price_per_kg값들이 많은 것을 확인할 수 있었다.(*raw 데이터는 3개만 g으로 되어있고, 나머지는 모두 kg이었다.) 그래서 다시 1kg 이하의 거래들만 필터링한 결과, 너무 높다 싶은 price_per_kg을 가진 값들은 배제가 되고, 최대 18,900원에서 그치는 것을 볼 수 있었다.

d1 <- dat %>% filter(sanji_city == '송파구')
g1 <- ggplot(d1 %>% arrange(price_per_kg) %>% mutate(SEQ=seq(1,nrow(d1),1))) + geom_line(aes(x=SEQ,y=price_per_kg), linetype='solid', size=0.5, alpha=0.8, color='blue') 
d2 <- d1 %>% filter(prut>1)
g2 <- ggplot(d2 %>% arrange(price_per_kg) %>% mutate(SEQ=seq(1,nrow(d2),1))) + geom_line(aes(x=SEQ,y=price_per_kg), linetype='solid', size=0.5, alpha=0.8, color='blue') 
subplot(ggplotly(g1),ggplotly(g2), margin = 0.05, nrows=2)