????細(xì)看指標(biāo),有些不必當(dāng)真
????看排行榜,最重要的一步是什么?這個(gè)答案在許多業(yè)內(nèi)人士眼中,無(wú)疑是評(píng)估指標(biāo)。而這恰恰是很多學(xué)生忽略的問(wèn)題。
????評(píng)估指標(biāo)的合理性和數(shù)據(jù)的客觀性是一個(gè)排行榜能成功的關(guān)鍵。國(guó)內(nèi)的一家機(jī)構(gòu)曾經(jīng)推出大學(xué)排名的調(diào)查,其中一個(gè)指標(biāo)是畢業(yè)生質(zhì)量。這個(gè)指標(biāo)讓許多人看得百思不得其解,“是指畢業(yè)生的就業(yè)率,畢業(yè)后的薪水,還是就業(yè)單位?很難找到這項(xiàng)指標(biāo)的清晰解釋,而這個(gè)指標(biāo)是如何具體落實(shí)的,更是不甚了然?!睖弦患掖髮W(xué)的統(tǒng)計(jì)學(xué)副教授章老師表示很疑惑。
????除了每個(gè)重要指標(biāo)是否設(shè)計(jì)得合理和科學(xué)外,評(píng)估過(guò)程是否透明,數(shù)據(jù)采集是怎樣完成的,各項(xiàng)指標(biāo)的具體得分是什么,也是推斷這個(gè)排行榜是否能為自己提供重要信息的因素。
????程瑩是上海交通大學(xué)世界一流大學(xué)研究中心的執(zhí)行主任,她所在的機(jī)構(gòu)推出的《世界大學(xué)學(xué)術(shù)排名》自2003年發(fā)布以來(lái),得到了許多國(guó)家的主流媒體、世界著名大學(xué)的網(wǎng)站和年報(bào)、Economist和Nature等學(xué)術(shù)刊物的重視。據(jù)她介紹,交大版排行榜的參考指標(biāo)一共有6項(xiàng),每項(xiàng)都有說(shuō)明和權(quán)重,為了避免主觀性,研究人員不采取深入調(diào)查的方式,所有數(shù)據(jù)皆由第三方提供。事實(shí)上,國(guó)際上的知名排行榜發(fā)布機(jī)構(gòu)在收集數(shù)據(jù)時(shí),一方面依靠學(xué)校授權(quán),另一方面從具有公信力的數(shù)據(jù)公司即第三方獲取,總體來(lái)說(shuō)社會(huì)誠(chéng)信度較高,數(shù)據(jù)還是比較真實(shí)和客觀的。
????不過(guò),即使這樣,各大知名排行榜仍然受到詬病。前不久,美國(guó)最受關(guān)注的US News大學(xué)排行榜爆出丑聞。美國(guó)名校喬治·華盛頓大學(xué)被逐出US News大學(xué)排名,因?yàn)樵搶W(xué)校在提交有關(guān)新生在高中階段排名的數(shù)據(jù)有誤。US News被指責(zé)沒(méi)有核實(shí)學(xué)校提供的數(shù)據(jù)。
????看榜人可以相信哪些數(shù)據(jù)?在程瑩看來(lái),那些不是從學(xué)校直接取得的數(shù)據(jù)更可信。另外,能保證每個(gè)指標(biāo)的得分可以公布和檢驗(yàn),發(fā)布機(jī)構(gòu)還能提供核查數(shù)據(jù)的途徑的排名顯然更完善更準(zhǔn)確。
????當(dāng)然,即便如此,也不要過(guò)于迷信這些排行榜。因?yàn)樵S多設(shè)計(jì)完美的指標(biāo)在現(xiàn)階段的技術(shù)條件下并不容易實(shí)現(xiàn)。“實(shí)際操作起來(lái)往往難度很大。不是找不到適合的指標(biāo)就是有了指標(biāo)卻采集不到數(shù)據(jù),又或者采集難度太大,方法也不可靠。”對(duì)此,程瑩頗有些無(wú)奈。事實(shí)上,他們機(jī)構(gòu)在做一個(gè)世界研究型大學(xué)數(shù)據(jù)庫(kù)的計(jì)劃,向1200個(gè)研究型大學(xué)發(fā)問(wèn)卷收集數(shù)據(jù),盡管500強(qiáng)大學(xué)中有超過(guò)50%的回收率,1000強(qiáng)大學(xué)中這個(gè)數(shù)據(jù)達(dá)到了70%,但仍然有一些大學(xué)沒(méi)有回復(fù)。另外,統(tǒng)計(jì)來(lái)自不同渠道的研究經(jīng)費(fèi)也很難操作,很多學(xué)校提供不出來(lái),這就和當(dāng)初的設(shè)計(jì)有一定差異。
????類(lèi)似的困難在國(guó)外發(fā)布機(jī)構(gòu)也不鮮見(jiàn)。來(lái)自俄勒岡州里德學(xué)院的校長(zhǎng)約翰·克魯格顯然很同意這個(gè)觀點(diǎn),“所有的排名都不能準(zhǔn)確地計(jì)算出一個(gè)大學(xué)的學(xué)術(shù)能力和它對(duì)學(xué)生的幫助程度,因?yàn)樗鼈兊臄?shù)據(jù)不見(jiàn)得真實(shí)和可靠,評(píng)估的方法也未必科學(xué)合理?!?/p>