Measuring the environmental effects of organic farming: A meta=analysis of structural variables in empirical research
코멘트
성제’s comment
*Lee et al.(2015)은 유기농업과 기존 농업의 환경적 영향을 비교한 연구들을 분석해 유기농업이 환경에 긍정적으로 영향을 미칠 때 연관 있는 structural variable 들을 도출하고자 했다. 이들은 각 연구 별 데이터 출처, 표본 크기, 생산물, 농작 형태, 측정 단위 등의 변수들을 더미 변수로 변화해 로짓회귀분석을 진행하였다.
*유기농업과 기존 농업의 환경 영향에 대한 엇갈리는 결과에 대해 어떤 변수(structural variable)로 인해서 엇갈리는 결과가 도출되는지에 대한 선행 연구가 전무하다시피 한 상황에서 새로운 시도를 한 논문이라는 점에서 의의가 있다. 유기농업과 기존 농업 중 어느 것이 환경에 상대적으로 더 긍정적인 것인지 논쟁인 가운데 어떠한 변수들이 긍정적인 영향에 기여를 하는지 아는 것은 이 논쟁을 해소하는데 조금이나마 도움이 될 것이다.
*그러나 연구를 통해 도출하고자 하는 결론에는 의문점이 남는다. 변수들 중 농가의 특성, 작물 특성과 같은 변수들은 해당 변수에 따라 실제적인 차이가 존재한다. 가령 과실류 농가에서 유기농법이 환경에 미치는 악영향이 상대적으로 적다면 과실류에의 유기농법 적용을 장려하는 정책을 시행할 수 있다. 하지만 표본 크기, 데이터 출처와 같은 연구 특성 변수들을 통해 얻을 수 있는 결론은 납득하기 어렵다. 표본 크기가 큰 연구일수록 유기농법이 더 긍정적이라는 관계가 밝혀졌기 때문에 향후 연구에서 유기농법의 긍정적 결과를 도드라지게 하기 위해서 많은 표본을 사용해야하다는 결론은 연구의 중립성을 훼손할 여지가 있다.
승현’s comment
*이 논문은, 유기농업과 관행농업의 환경적 영향을 비교한 기존의 논문들에서 둘 간의 차이가 나게하는 구조적 변수들을 검증하는 메타분석논문이다. 또한, 환경적 영향을 에너지 효율(EE)로 놓은 논문들과 온실가스배출(GHGE)로 놓은 논문들로 구별하여, 어떠한 구조적 변수들이 EE 또는 GHGE에 영향을 많이 미치는지를 파악하였고, 이항로지스틱회귀분석을 활용하여 분석을 진행했다.
*지난번에 읽었던 리뷰논문과 이번 메타분석논문의 형식을 비교해가며, 비슷하면서도 다른 둘의 특징을 볼 수 있었다. 기존 논문들의 결과를 대상으로 하여 회귀분석을 한다는 것이 나에게는 신선했고, 어떠한 구조적 변수들을 그 대상으로 하였는지 선정 과정 또한 명확하게 설명해 놓았다. 한가지 아쉬운 점은, 본 논문에서도 언급했듯이 Location 변수를 좀 더 세분화할 필요가 있다고 느껴졌다. 대부분의 관련 연구가 유럽에서 이루어졌기에 어쩔 수 없는 면이 있지만, 좀 더 많은 연구들이 진행되고 난 후 후속연구에서는 Location 변수의 세분화가 필요할 것이다.
*Hosmer-Lemeshow 검정통계량이 EE와 GHGE의 두 경우 모두 유의하지 않은 것으로 나왔는데, 이것은 큰 의미가 없는 것인가?
도형’s comment
*본 논문은 유기농법이 환경에 미치는 영향을 측정한 선행 연구들을 바탕으로 실행한 메타 분석에 관한 논문이다. 유기 농법은 기존 관습적 영농이 맞은 기후변화의 위기를 극복하기 위한 합리적 대안으로서 여겨져왔다. 그에 관해 연구들이 꽤 수행되어 왔지만 유기농법이 환경에 미치는 영향에 대한 결론은 일관성이 없음을 지적한다. 따라서 본 논문은 같은 주제에 상이한 결론이 나게하는 각각 연구의 구조적 원인(structure variables)을 메타 분석을 실시하여 규명한다. 메타 분석이란 다수의 선행 연구들의 결과를 비교, 종합하기 위해 고안된 통계적 연구 방법론으로서 메타 분석을 통해 연구자들은 과거의 연구들에 기반하여 이론들을 검증해볼 수 있고 향후 연구 방향을 제시할 수 있다. 본고의 메타 분석의 단계는 다음과 같다. 첫번째, 구조 변수들을 규명할 프레임워크를 만든다. 두번째, 본 분석에 사용될 사전 연구들을 조사 및 선정한다. 세번재, 선정된 각 구조 변수들을 알맞게 코딩한다. 네번째, 로지스틱 회귀분석(Logistic Regression)에 기반한 통계적 절차를 따른다. 다섯번째, 메타 분석 결과를 정리하고 향후 연구 방향을 제시한다.
*메타분석에는 로지스틱 회귀분석을 사용하였다. 로지스틱 회귀분석의 목적은 일반적인 회귀 분석의 그것과 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서 선형 회귀 분석과 유사하나 로지스틱 회귀는 종속변수가 범주형 데이터이며 따라서 입력 데이터에 반응하는 결과가 특정 분류로 나뉘기에 일종의 분류 기법으로 볼 수 있다. 본 논문에 사용된 데이터는 범주형 데이터이며 종속 변수 역시 범주형 데이터이기 때문에(positive/negative or neutral) 로지스틱 회귀분석은 사용하기 적절한 방법론이다.
*본 논문은 로짓 회귀분석을 통해 EE와 GHGE 각각을 기준으로 한 각 연구들의 결과에 미치는 유의미한 구조 변수들을 규명하였고 연구의 신빙성, 즉 어떤 연구 특성을 기반으로 연구를 할 때에 유기농법의 순수한 환경적 효과를 증명함이 신빙성이 있는 것인지 제언하였고 그 결과들이 통계적으로 적절히 뒷받침된다는 측면에서 향후 연구들의 유익한 길잡이라고 할 수 있다.
