调研比赛合作过程中的一些想法(1) LeeRinji

背景提要

最近在和一些朋友做一个调研比赛,发了问卷,因为我最近在忙毕业论文,所以问卷回收之后的数据分析是由其他几位社科的同学做的,其实做的不是很理想,简单分析一下其中存在的问题。

问卷中存在以下的两个问题:

  • 您认为共青团宣传内容对青年群体引导力度如何?
  • 您的政治面貌是?

这几位同学在完成回归分析后,他们给出了这样的结论:

结论一:“青年群体的政治面貌程度会对青年的引导力度产生正相关的效应。”

错误何在?

很遗憾,无论如何怎样完成回归分析,问卷中的这两个问题都没有办法得到结论一,理由如下:

对于第一个问题,我们期待问卷的回答者给出他们的观点,而非事实。而对于第二个问题,我们期待问卷的回答者给出事实,而非观点。更具体的,他们给出的完整回答形式上实际上是类似于以下的语句:

  • 观点一:“我认为共青团的宣传内容对青年群体的引导力度很强。”
  • 事实一:“我是共产党党员。”

而结论一的得出,即是将问卷回答者给出的回答误以为以下的语句:

  • 事实一:“我是共产党党员。”
  • 事实二:“共青团的宣传内容对我的引导力度很强。”

显然问卷回答者是没有做出这样的陈述的。

我们只获得了来自于问卷回答者的观点,而问卷回答者的观点可能是错误的。而即使问卷回答者的观点是正确的,他们语句的含义也只是“我是共产党党员(事实),我认为共青团的宣传对青年群体的引导力比较强(观点)”,而非“我是共产党党员(事实),我认为共青团的宣传对我的引导力比较强(观点)”,亦非“我是共产党党员(事实),共青团的宣传对青年群体的引导力比较强(事实)”,更非“我是共产党党员(事实),共青团对的宣传对我的引导力比较强(事实)”。

实际上,回答问卷的个体也无力保证他们的后两种陈述是真的。

可能的结论是什么?

实际上,在我们考虑这两个变量的时候,我们至多可以得到形式如下的语句:

  • 结论二:“青年个人的政治面貌越‘进步’,他越倾向于认为共青团的宣传能对青年群体产生强的引导力。”

比较结论一和结论二,一方面这里的“认为”是不可省略的关键词(因为我们只获得了问卷回答者的观点,而非事实),另外一方面回答者在作答时,默认被宣传内容引导的是“青年群体”,而非其自己,因而并不能因为回答者“认为宣传内容对青年有较强的引导力度”,就认为他们“认为宣传内容对自己有较强的引导力度”。

基于以上理由,结论一是无法从问卷的数据分析中得出的。更简单的,问卷本身能得到的应当更加类似于舆情调查,而非实证研究。

遗憾的是,这样的错误出现在了回归模型分析的几乎每一个结论中。