Raspberrypi 3b+ 와 EC-5 센서를 활용한 토양수분 데이터 수집 Soil moisture data collecting using Raspberrypi3b and EC-5 sensor 이번 실험의 목적은 한국의 환경에 적합한 토양 수분 센서를 개발하는데 있다. EC-5 센서는 미국 Decagon 사(社)에서 개발한 토양 수분 센서로 고성능을 자랑한다. 하지만 우리나라의 환경에 맞게 개발 되지 않았으며 고가라는 점에서 국내 농가에서 사용하기에는 무리가 있다. 따라서 국내 환경에 적합하며 중저가인 토양 수분 센서를 개발하려고 한다. 이를 위해 본 실험에서는 국내에서 자체 개발된 센서와 EC-5 센서를 라즈베리파이 3b+ 모델에 연결하여 토양 수분 측정 데이터 비교한다.

setwd(d:/r_data/agdatalab_blog) Paper review : Deep Gaussian Process for Crop Yield Prediction Based on Remote Sensing Data Published in : Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence Authors : You(Computer Science, Starnford Univ. ) et al. Source Link 초록 요약 연구 배경 : 개도국에서의 농업 모니터링은 기근을 예방하고 인도주이적 노력을 지원하는 의미를 가짐. 농업 모니터링의 주요 도전과제는 수확 전에 작물의 생산량을 예측하는 것임 연구 목적 및 방법 : 공개된 위성 영상 데이터를 이용하여 확장가능하고 정확하며 저비용의 작물 생산량 예측 방법의 3 가지 개선점을 소개하는 것임

공공데이터 포털에서 open API 형태로 공개되어 있는 ‘농수축산물 도매시장 상세 경락가격’데이터에서 2015년부터 2018년 현재 시점까지의 상추 거래를 분석해보고자 한다. ’nrow()’로 총거래건수를 살펴보면 3,150,052건이다. pre code, pre, code { white-space: pre !important; overflow-x: auto !important; word-break: keep-all !important; word-wrap: initial !important; } library(plotly); library(dplyr); library(tidyr) ;library(ggplot2); library(gridExtra); library(knitr); library(kableExtra) dat <- read.csv('lettuce_all.csv') print(paste('number of observation :',nrow(dat))) ## [1] "number of observation : 3150052" 날짜별 거래건수를 합해서 내림차순으로 정렬해보면 거래가 많을 때는 하루에 6645건의 거래가 발생한 적도 있음을 알 수 있다.

이번 Post에서 사용하는 데이터는 농림축산식품교육문화정보원에서 수집하여 공공데이터포털을 통해 제공되는 농수축산물 도매시장 상세 경락가격 Open API에서 수집한 데이터로 AWS S3 Agdata Lab 저장소에서 다운로드할 수 있다. 수집 기간은 2015년 1월 1일부터 2018년 7월 26일까지이며 해당기간 전국농산물 공영도매시장에서 거래된 배추 품목의 모든 데이터가 기록되어 있다. 먼저 csv파일을 읽어와서 dat 데이터로 저장하고 측정치 개수를 확인해보면 총 3,261,891개인 것을 알 수 있다. 날짜별 거래건수를 합해서 내림차순으로 정렬하여 상위 거래 건수를 확인해보면 거래가 많을 때는 3,000건 가까이 있었던 것을 확인할 수 있다.

이번 Post에서 사용하는 데이터는 농림축산식품교육문화정보원에서 수집하여 공공데이터포털을 통해 제공되는 농수축산물 도매시장 상세 경락가격 Open API에서 수집한 데이터로 AWS S3 Agdata Lab 저장소에서 다운로드할 수 있다. 수집 기간은 2015년 1월부터 2018년 7월까지이며(정확히는 2018년 8월 1일) 전국 34개의 농산물 공영도매시장에서 거래된 당근 품목의 모든 데이터가 기록되어 있다. 먼저 csv파일을 읽어와서 dat 데이터로 저장하고 측정치 개수를 확인해보자. 그 결과 558,225개로, 총 43개월 중(2015년 1월 ~ 2018년 7월) 월 20일 도매시장이 개장되었다고 가정했을 때 하루 평균 거래 건수는 649.

이번 post에서는 대파 도매시장 경락 데이터를 가공해 보고자 한다. 데이터는 앞서 배추 post에서 언급되었듯이 농림축산식품교육문화정보원에서 수집하여 공공데이터포털을 통해 제공되는 농수축산물 도매시장 상세 경락가격 Open API에서 수집한 데이터로 AWS S3 Agdata Lab 저장소에서 다운로드할 수 있다. 다만 수집 기간은 배추와 달리 2015년 1월부터 2018년 7월 30일까지이며, 배추와 마찬가지로 해당 기간 전국 농산물 공영도매시장에서 거래된 모든 대파 품목의 데이터가 기록되어 있다. 앞선 배추 관련 post들에서 데이터 가공 및 시각화와 관련된 R코드와 설명은 충분히 된 것으로 생각하고 이번 post는 대파 데이터 설명에 필요한 코드를 제외한 부분은 생략하고 결과를 중심으로 간략하게 작성하였다.

Organic farming from YeonjinKim18 코멘트 성제’s comment *Lee et al.(2015)은 유기농업과 기존 농업의 환경적 영향을 비교한 연구들을 분석해 유기농업이 환경에 긍정적으로 영향을 미칠 때 연관 있는 structural variable 들을 도출하고자 했다. 이들은 각 연구 별 데이터 출처, 표본 크기, 생산물, 농작 형태, 측정 단위 등의 변수들을 더미 변수로 변화해 로짓회귀분석을 진행하였다. *유기농업과 기존 농업의 환경 영향에 대한 엇갈리는 결과에 대해 어떤 변수(structural variable)로 인해서 엇갈리는 결과가 도출되는지에 대한 선행 연구가 전무하다시피 한 상황에서 새로운 시도를 한 논문이라는 점에서 의의가 있다.

180725 from 도형 최 코멘트 성제’s comment 해당 논문은 단기 연어 현물가격 예측에 대한 내용이다. 노르웨이 연어 시장을 대상으로 데이터를 선정하였고, 예측을 위한 변수로는 연어 수출량, 연어 선물 가격, 연어 관련 회사의 주식 가격, 환율 등을 활용하였다. 본 논문에서는 다양한 예측 방법의 예측 결과를 비교하여 가장 효과적인 방법을 찾는 것을 목적으로 한다. 먼저 다양한 방법론과 그 결과를 합리적인 검증 방법으로 비교, 분석해 각 방법론을 객관적으로 분석했다는 점이 가장 주목할만하다.

Online price dispersion a game theoretic from Sungjay Kim 코멘트 승현’s comment 이 논문은 온라인 가격 분산에 대해서, 헤도닉 가격 모형을 활용하여 분석하였던 이전의 논문들과는 달리, competitive model을 제안하였다. 또한 게임이론을 바탕으로 하여, online retailer의 service quality와 brand recognition이라는 요소를 중심으로 가격과의 상관관계에 대해 분석하고 있다. 그리고 헤도닉 가격 모형을 활용한 이전의 연구들에서는, service quality와 price가 음의 상관관계를 보이는 현상, 즉 헤도닉 가격 모형과 부합하지 않는 현상에 대해서 설명력이 부족했다면, 본 연구에서는 그러한 현상을 설명할 수 있는 모델을 제시했다는 점에서 의미가 있다고 할 수 있다.

Big Data in Smart Farming - A Review from SeungHyeonSeo2 코멘트 성제’s comment 해당 논문은 빅데이터가 스마트팜에 어떻게 적용되고 발전해 나가고 있는 지에 현재의 추세를 거시적으로 기술했다. 먼저 사회경제적 관점에 초점을 맞춰 스마트팜에 빅데이터가 적용되는 개념적 틀과 적용된 결과들에 대해 서술하고 그 한계에 대해서도 언급한다. 전반적으로 스마트팜에 빅데이터가 적용되는 과정에 대한 설명과 그 결과에 대한 모호한 설명들을 종합하여 비교적 명확한 개념들로 잘 요약했다. 특히 스마트팜과 빅데이터의 발전을 이끄는 요인들을 수요적(pull) 공급적 측면(push)으로 구분하여 한 눈에 파악하기 쉽게 정리한 점이라든가 스마트팜에서 얻을 수 있는 데이터의 종류를 구분하여 정리한 점들은 주목할 만하다.