怎么做问卷调查(如何做好问卷调查)(1)

问卷调查是社会研究最常用的数据收集方法之一,是一种定量研究技术。

01

问卷调查的使用场景

在社会研究领域,定量研究与定性研究就像一对冤家,经常互相看不起,彼此都难以理解或难以欣赏对方的做法。但实际上,不管是定量还是定性研究,试图通过一种方法来完美而全面地解释社会现象是不可能的事情,也是徒劳无功的。最好的研究,应当是两大研究类型的结合。

当然,必须要承认,定量研究和定性研究在很多方面都存在较大的差异,各有各的长处和局限。因此,在实际研究过程中,选择哪种研究类型,应当根据研究主题、研究目的、资源限度等方面进行综合考虑。

定量研究和定性研究的区别

怎么做问卷调查(如何做好问卷调查)(2)

(《社会研究方法(第五版)》劳伦斯·纽曼)

具体而言,问卷调查作为定量研究的一种方法技术,主要有以下优势和不足。

(一)优势

1. 节约成本

由于自填问卷法可以在很短的时间内同时调查很多人的情况,且不用逐一进行访问和交谈,十分省时省力;

2. 适合大规模调查

3. 标准化测量

4. 避免人为因素的误差

由于自填问卷法采用的是统一设计和印制的问卷,因而无论是在问题的表达、答案的类型方面,还是在问题的前后次序、填答方式方面,所有问卷都是完全相同的,即以一副完全相同的面孔去面对每一个被调查者。因此,自填问卷调查在很大程度上排除了不同调查人员所带来的不同影响,这样就可以尽可能地避免某些人为原因所造成的偏误

(二)不足

1. 问卷质量难以保证

采取自填问卷法时,被调查者往往是在没有调查人员在场的情况下进行问卷的填答工作的,这也即是说,他们填答问卷的环境是调查人员无法控制的。对于理解不清的问题,他们无法及时向调查人员询问,各种错答、误答、缺答、乱答的情况时有发生,导致问卷调查资料的质量比较差,可信度不高。这正是当前自填问卷法面临的主要问题。

2. 问卷回收率难以保证

由于自填问卷法十分依赖于被调查者的合作,因此,当被调查者对该项调查的兴趣不大、态度不积极、责任心不强,或者被调查者由于受时间、精力、能力等方面的限制而无法完成问卷填答工作时,问卷的有效回收率常常受到影响。

3. 挖掘的信息量有限

问卷调查更适合用以验证需求、体验评估、用户特征收集,而对于现象背后的原因、动机,问卷调查难以胜任,因此不太适合做需求的挖掘。

02

调研规划

一、明确问卷调研的目标

需与需求方、利益相关方沟通了解此次问卷调研的目标。很多时候,业务方并不清楚他们的目标是什么、想要收集哪些信息,所以作为用户研究员,需要引导业务方的需求,帮他们梳理研究目标、界定研究问题。

在梳理研究目标时,应当要明确以下几点:

1. 了解为什么要开展这次问卷调研,需求来自于哪里(如产品规划、用户反馈、领导要求),希望通过本次问卷调查获取哪些信息?

2. 有些调查会提出针对性的研究假设,通过问卷调查来验证研究假设,所以需要明确要验证什么样的研究假设?比如:变量之间的相关关系假设;变量之间的因果关系假设。

二、明确研究对象

根据业务情况和研究目标,界定此次调查的目标对象。界定的标准,可根据研究对象的身份角色、业务经验和人口学特征(年龄、性别、收入、学历、职业等)进行设置。

在问卷调查过程中,可能会有非本次调研的目标对象填答问卷,影响到数据结果的准确性,因此在问卷设计时,需要设置相应的问题对填答人员目进行过滤,筛选出此次调查的目标对象。

三、时间规划和预算安排

1. 时间规划

可以按照“时间、内容、负责人员、输出物”几个维度来规划此次调查的时间,以保证在不同的时间段顺利执行调查的不同环节,确定调查的顺利完成。

2. 预算安排

调查执行可能会产生费用支出,比如为了吸引用户填答的红包、作为回馈用户参与调查的奖品等。这些费用支出,需要在研究规划阶段做好估算。

四、风险评估

需考虑经费、时间、问卷投放渠道是否能够顺利完成这次调查问卷,基于可能存在的风险,提前做好预案。

03

抽样方法和样本容量的确定

问卷调查的目的是由样本推论总体特征,但前提是样本需要具有很好的代表性。影响样本代表性的关键因素有两个:1. 抽样方法;2. 样本容量。即,要保证样本的代表性,一是要采取严格遵循随机原则的概率抽样方法,二是要有足够的样本量。那有哪些概率抽样可以选择呢?多大的样本量才算是足够的?

一、抽样方法

抽样方法主要分为两大类:概率抽样和非概率抽样。

(一)概率抽样

概率抽样是以概率理论为依据,通过随机化的操作程序抽取样本,从而避免抽样过程中人为因素的影响,保证样本的代表性。虽然随机样本无法完全与总体保持一致,但它能够确切的知道和控制抽样误差的大小,能够由样本统计值推论总体参数值,从而可以允许研究人员通过对样本的研究分析来认识总体状况。概率抽样方法又有以下几种:

1. 简单随机抽样,2. 系统抽样,3. 分层抽样,4. 整群抽样,5. 多段抽样。

(二)非概率抽样

非概率抽样即没有遵循随机原则来抽取样本的方法。理论上来说,非概率抽样获取的数据只能作为了解总体的参考,而不能推论总体。如果调查的目的只是对问题初步探索,获得线索和提出假设,可以考虑非概率抽样。非概率抽样也能够帮助我们了解总体状况,而且它操作方便、省钱省力,统计分析也比随机抽样简单。非概率抽样中每个个体进入样本的概率是未知的,而且还会受到调查者的主观影响,因此所抽取的样本的代表性会存在问题,无法说明样本数据是否重现了总体的结果。常用的非概率抽样有:

1. 偶遇抽样,2. 判断抽样(主观抽样),3. 定额抽样(配额抽样),4. 滚雪球抽样。

我们经常在朋友圈、微博的平台看到的网络调查,属于非概率抽样的偶遇抽样的一种,因为在这个过程中,谁能看到该问卷是不确定的,而且上网习惯就已经对填答人员进行了一遍过滤。

虽然说概率抽样能够保证样本的代表性,但在执行过程中存在着很多困境,比如:

1. 调查对象的总体边界不清晰,无法制作抽样框;

2. 操作过程比较复杂,费时费力。

尤其是在企业做调查时,要做到概率抽样更是难上加难,可能概率抽样所需成本要远高于所收集到的数据的价值。因此,在企业中做调查往往采用网络问卷等非概率抽样方法,操作方便又省钱省力。虽然在这个过程中,我们难以由样本推论总体,但非概率抽样也能够帮助我们了解总体状况,关键是它操作方便又省钱省力。当然,在进行决策时,我们不能只是依赖于问卷调查数据,而要考虑多种渠道的数据反馈,比如定性访谈数据、业务后台数据中。

二、样本容量

样本容量,又称为样本大小、样本规模,是指样本内所含个体数量的多少。样本容量的确定是抽样设计的重要内容。

在统计学中,一般以30个个案为界,个案数大于等于30个的样本为大样本,小于30个的样本为小样本。之所以是30,是因为当样本容量大于30时,无论总体的分布如何,其平均数的抽样分布都接近于正态分布,这样就可以根据样本数据来推论总体了。但在社会调查中,由于社会现象的复杂性、不确定性等多种因素的影响,只有30个个案的样本显示难以得出比较可靠的结论。但样本容量又不是越大越好,因为样本容量不仅影响样本的代表性,还直接影响调查所需的费用、人力。因此,在进行调查研究前,确定一个合适的样本容量是非常有必要的。

一般来说,样本容量的确定,主要从以下几方面进行综合考虑:

1. 研究的精确度要求

在由样本推论总体过程中,误差是不可避免的,这就需要我们根据研究目的对允许的误差大小进行规定。在遵循简单随机抽样原则的条件下,允许误差的公式如下:

允许误差=抽样误差*概率度t

抽样误差=标准差/样本量开根号

即允许误差e=(σ/n的根号)*t,n=(t²*σ²)/e²

其中,σ表示标准差,σ²为方差,t为置信水平所对应的临界值,可通过查表获取。

由公式可知,样本容量直接受到了允许误差和置信水平的影响,即样本容量的确定,需要根据研究所要求的精确度(允许误差和置信水平)。因此,对研究精确度要求越高,所需要的样本容量就越大。下表为特定允许误差和置信水平下,简单随机抽样所需要的样本量。

怎么做问卷调查(如何做好问卷调查)(3)

(《社会研究方法教程》袁方)

2. 总体的规模

由前文可知,样本容量与抽样误差成反比关系,样本容量越大,越接近总体规模,抽样误差就越小。按这个前提,我们理应可以推断出,在一定的研究精确度下,总体规模越大,所要求的样本容量就应越大。但实际情况是,这个结论只是在一定程度正确。如下表可知,当总体规模增大时,样本容量并不同它保持同样的增长速度。而当总体规模达到一定程度(10000以上)后,样本容量的变化就变得很小了。

不同总体规模所需的样本容量

怎么做问卷调查(如何做好问卷调查)(4)

(《社会研究方法教程》袁方)

3. 总体内部的异质性程度

除了总体规模和研究精确度,从上述公式可知,样本容量还受到方差 σ² 的影响。方差衡量的是总体中个体间的差异程度,即总体内部的异质性程度。也就是说,样本容量与总体异质性程度成反比关系,总体异质性高,所需要的样本容量就越大;反之,异质性越小,需要的样本容量就越小。

因此,为了获得适当的样本容量,需要对总体的异质程度有一定的了解,即需要对方差 σ² 进行估计。主要可以通过以下方式来估算方差:

(1)通过以前的调查研究进行估算

(2)由专家提供相关信息

(3)进行试调查,获取必要信息进行估算

4. 多层次的分析要求

在研究中,可能我们的目的不仅是想了解总体的特征,还想了解总体中某些项目的特定,或者想了解各种变量之间的真实关系。这时候,就要求所要分析的子类别的样本量要达到可分析的程度,不然由于分析对象的数量太少,就难以进行有效的统计分析。因此,在确定样本容量前,需要考虑后续的分析要求和分析目标,需要针对哪些子类别或者变量进行专门分析,然后再根据分析要求确定各子类别和调研总体的样本大小。一般情况下,要达到统计分析的条件,需要确保每类样本容量不小于10。

5. 抽样方法

选择的抽样方法不同,所要求的样本容量也会存在差异。每一种抽样方法都有相应的样本容量估算公式。

6. 问卷回答率和回收率

调查过程中的问卷回答率和回收率是影响样本容量的重要且很实际的因素,被拒访、难回收等问题是问卷调查常遇到的情况,所以在确定样本容量时我们需要将这些实际因素考虑进去。比如我们估算可能会有20%的无回答样本,那么实际调研所需要的样本容量就需要在理论值的基础上多出20%。

7. 经费

经费上问题也会限制可调查的样本量。

在实际抽样调查中,样本的代表性要求与经费、抽样误差与非抽样误差往往会处于矛盾中,我们为了提高样本代表性,就需要一个大样本,但样本大了,虽然抽样误差减小,非抽样误差(比如抽样程序问题、访问质量问题、问卷回答率问题)可能会增加,而且经费也会增多。

在一般的社会调查研究中,实际上不要求很高的抽样精确度,企业研究要求的精确度会更低。根据以往经验,有些书籍确定的样本容量范围如下:

怎么做问卷调查(如何做好问卷调查)(5)

(《社会研究方法教程》袁方)

,