一份看起来挑不出毛病的问卷:三十道题,七级李克特量表,题项都来自成熟量表,趁一次部门例会发下去,当天就收齐了。可三个月后评审意见回来,被质疑的恰恰不是模型,而是数据本身。9月13日,在PSB巴黎商学院工商管理博士项目《数据收集方法(上)》课堂上,俞明传用一整天时间,把从研究设计到问卷收集之间的每一道关口进行了拆解。
 
问卷发了数据收了为何仍被质疑
 
  这一天的课程以连锁酒店导入辅助工具的虚构情境为主线,串起研究问题形成、方法匹配、分析层次、问卷设计、抽样实施与数据清洗六个环节,并穿插对《管理世界》两篇范文的精读——一篇是平台网络自主权的定量研究,一篇是跨国并购后整合过程的定性研究。对同学们的学术研究而言,它解决的正是"题目定了、问卷发了、数据收了,为什么仍然会被质疑"这类致命的落地问题;对日常管理而言,它校正的是一种很常见的自信:手里握着一堆报表和员工反馈,就以为自己看见了事实。
  管理难题不等于研究问题
  课程一开场,俞教授先明确了现实问题与理论问题的区别。企业遇到难题,请管理咨询进场,目的是把问题解决掉;而研究要做的,是把现象背后的机制找清楚。
  以连锁酒店为例:引入了智能工具,员工有的接受、有的抵触,有的觉得效率提升,有的反而焦虑自己的岗位会不会被替代。这是管理现象,还不是研究问题。要把它转成研究问题,得往深处追问一层——员工使用意愿低,是不是因为企业的培训支持不足?同样的现象,还可以从员工人格开放性切入,或者从组织层、个体层的交互视角切入。俞教授强调,现象是宽泛的,研究必须聚焦在某一个点上。选题的时候不妨连问自己几句:谁是主体,什么因素影响什么结果,在什么情境下,在什么时间发生。
  研究问题的类型,进一步决定了证据的需求。描述性研究关心数据的分布与比例,探索性研究关心解开未知的过程,解释性研究重视检验机制,预测性研究关心新样本上的表现。量化适合估计关系与差异,定性适合理解过程、意义与情境,混合研究则要求两类证据共同回答同一个问题——不能用定性数据去回答定量研究才能解答的问题。
  层次一旦错位,再干净的数据也救不回来
  上午花时间最多的,是分析层次。
  理论单位(解释对象)、观察单位(记录来源)、分析单位(模型里的一行)三者可以不同,但一旦混用,结论就会失准。课程举了一个很容易犯的例子:题目问"全公司员工都喜欢用智能工具",让基层员工来填。这既是超出作答能力——一个人怎么代表全公司,也是层次错位——如果测的是组织层面的状况,应当由熟悉全局的高层管理者作答;如果测的是个人使用状况,题项就不该写成公司整体。
  数据结构同样决定模型的边界:同一时点的一次截面,重复观察同一对象的追踪数据,对象乘时间的面板,以及员工嵌套于团队的层次结构,对应的分析方法完全不同。
 
  相关是相关,因果是因果:最容易越界的那一步
  课上有一段话被反复强调:问卷基本是在同一时点采集的,看到的是两个变量共同变化的趋势,很难据此做因果推论。
  还是那个例子。观察到使用程度和绩效正相关,至少要顾虑几种竞争解释:也许员工本身能力强,既愿意尝试新工具,绩效也自然更好;也许是培训带来的提升同时推高了两个指标;还存在方向不明的机制——工具用多了,学习成本也在上升。在原因不清的时候,就不能断定是工具的使用带来了绩效提升。
  俞教授提醒大家注意评审意见里最常见的那一句:数据是相关的,论述却在讲因果。写的时候,相关的结论就用相关的说法,因果的结论才用因果的表述,别在讨论部分把话说满。
  解决思路之一是多阶段设计。但这里有陷阱:只有T1、T2、T3的标签并不自动解决问题,必须真的把变量分时段测量,让时间顺序站得住。
 
  控制变量要有理由,先测准再谈关系
  控制变量处理的也是竞争解释。它指的是那些可能影响结果、却不是本次重点关注的变量——比如研究使用程度与绩效的关系时,年龄会影响使用意愿,也可能影响绩效;个人的学习能力既影响工具的使用,也影响绩效。把它们纳入控制,是为了在一个可比的基线上的关系,而不是把人口统计信息机械堆在一起。论文里要说清三件事:它凭什么是控制变量、怎么测量、如何进入分析。
  这里还要分清控制变量与中介变量:前者是干扰因素,后者是过程。混为一谈,故事就讲错了。
  课程的另一句提醒落在顺序上:研究中的两个概念通常无法直接观测,只能靠题项去逼近。所以永远是先保证测量的合理性,再解释构念之间的关系——测量这一步没有过关,后面算出来的路径再漂亮也经不起追问。
  同一时点、同一个人填完的问卷,问题出在哪
  如果说上面是逻辑问题,那么共同方法偏差就是问卷调研绕不开的现实问题。
  它的定义被讲得很清楚:同一时点、由同一个人完成同一份问卷。课堂上那个比方很形象——某天填答者心情不好,看什么都不顺眼,于是两个本来无关的变量都被打了低分;这个看不到的因素,会把变量之间的关系放大。
  防范要落在事前。一是不同源:使用程度和工作投入由员工自评,绩效则由直接主管评价。二是不同时点:先测使用程度,两周后测工作投入,再过两周测绩效。现有研究常用的时间间隔从两周到三个月不等,一个月左右较为常见——太短等于重复同一状态,太长则可能遇到离职,样本反而追踪不到。如果只能联系到员工、拿不到主管评价,那就退而求其次,从时间上拆开。
  事后也有检验办法。课程现场演示了哈曼单因子检验的操作:在未旋转的因子结构中,如果单个因子解释的变异过大,就值得警惕。
 
  问卷设计,有多少潜在的坑要提前避免
  下午的重心落到问卷设计,俞教授逐题诊断了六类坏题。
  第一类是双重问题。"智能工具提升了我的效率,也让我更幸福"——效率和幸福是两个概念,一个题项里不能同时装下两件事。
  第二类是诱导。"先进的智能工具改善了我的工作,对吗?"——量表用的是同意程度、发生频率或满意度,"对吗"这类措辞会诱导作答。
  第三类缺时间限定:问"我经常使用",回答的是哪一段时间因人而异——凡是测行为频率,都要加上"过去一个月""过去半年"这样的窗口。
  第四类超出作答能力,通常与层次错位一起出现。
  第五类是多重否定,"我并非不愿意停止不使用"这样的句子,读者要多绕几个弯,应当尽量避免。
  第六类则分散在控制变量的设置里。
  回答尺度也有讲究。同意程度、发生频率、满意度对应的是判断、行为和评价,不是同一把尺;同一个变量下几个题项混用五点和七点量表,同样不合理。
  反向题被专门拿出来讲。它能改变作答方向、打断惯性作答,但也会增加理解负担,甚至析出独立的措辞因子,并非越多越好。需要注意的是,反向的方向要与概念相反,而不是与常识相反;五点量表下,正向化就是用六减去原分值,并且必须在分析之前完成。
  问卷的前端同样不能省:卷首语要说清研究目的、任务、预计负担、风险与自愿原则;正式发放前先做认知访谈,看受访者怎么理解、回忆、判断并选择答案;再做一轮小规模预测试,检查完成时间、缺项位置和跳转逻辑,而不是一上来就把量发足。
 
  进了企业的门,不等于能用企业的数据
  工商管理博士学员往往既是管理者也是研究者,俞教授也专门强调了研究伦理问题。
  能进入企业,并不等于可以自由使用员工或客户的资料。可行性检验也不止"联系得上人",还包括能不能拿到正确口径、足够的时间跨度,以及合法的使用权限。组织联系人负责协调,不应该替研究者筛选"表现好"的员工来作答;问卷配对时所用的编码,只要存在可关联个人的对照表,数据就只是去标识化,而不是完全匿名。
  提高参与率也有一条底线:说清目的、合理负担、可信的保密承诺和适度提醒都可以做,强迫、过度奖励和反复施压则不行。现场回收的那些老办法至今有效——纸质问卷配信封、连快递单据一并准备妥当,能显著提高回收;事后把研究结论和管理建议反馈给企业,则是维持长期信任的关键。
  清洗之前,原始数据永远留一份
  最后一段讲到数据落地。原则是三个层次分开:原始记录用于追溯采集事实,清洗副本用于纠错,分析版本用于特定模型,原始的那一份任何时候都不动。
  合并数据前要先核验唯一键,合并成功不代表配对正确;尤其是在上下级配对的场景里,配错了,素材从一开始就是错的。重复记录要分类处置——完全重复、重复提交、多人共用标识、同一对象不同时间的记录,处理方式各不相同。
  判断无效问卷也不能靠单一线索。作答时间过短、答案高度规律、逻辑前后矛盾、以及刻意设置的障碍题未能通过,都要结合起来看。缺失值则要先理解成因:均值替代会压缩变异、改变变量间关系,并不是默认方案。
  数据收集听起来是研究中最不起眼的一环:发问卷、收问卷、理数据。可真正决定一项研究能不能站得住的,往往就藏在这些"不起眼的细节"中。把这些思考做在前面,后面的模型才有讨论的意义。