使用内部数据评估日志性能

Ivan Cherkashin, Svetlana Demidova, Susumu Imai, Kala Krishna2008年6月28日

经济学中有许多与出版相关的不确定性。一篇论文必须写好,找到有同情心的推荐人,他们不会要求不可能的修改,以某种方式(经常是反复地)修改到推荐人满意的程度,被编辑认为可以接受,最后发表。在每一个阶段,这一过程都可能突然终止。作家们都有不公平的、不合时宜的退稿和没完没了的修改的可怕故事。编辑们也有自己的可怕故事,他们不得不与来自地狱的裁判和作者打交道。出版的滞后使得人们越来越难以在任期审查期间及时发表文章。

真的有问题吗?这些期刊的背后是什么?期刊如何做得更好?在所有提交的文件中使用(不公开的)数据国际经济学杂志),我们就能够解决许多以前的经济学出版研究无法解决的问题。例如,在尽可能地控制论文本身的质量之后,我们能够看到哪个编辑处理论文是否重要(即检验标准中的编辑异质性)。我们还可以问,文件的处理是否公平(即:无论是名气大还是人脉广都有助于出版),关于期刊中第一类错误(拒绝一篇好论文)和第二类错误(接受一篇差论文)的程度,并推测粗略审查后在办公桌上拒绝相当一部分论文的政策可能产生的影响。

文献

经济学的出版考试通常会研究两类问题:与出版时间决定因素有关的问题和与接受偏差证据有关的问题。Coe和Weinstock(1967)、Yohe(1980)和Trivedi(1993)发现近年来出版过程出现了明显的放缓。Bowen和Sundem(1982)表明,大部分被录用的论文都经过了一次或多次修改,而大多数被拒绝的论文在第一轮就被拒绝了。Ellison (2002a)仅使用已发表论文的数据,发现在顶级期刊上发表的论文中,接受投稿的时间与作者的专业地位之间没有统计学上的显著关系。他认为(Ellison 2002b),虽然更长的篇幅和更多的合著者可能是延迟增加的一小部分原因,但更强调质量而不是主旨可能是延迟增加的四分之一原因。

该文献采取的第二个方向是测试接受和拒绝的偏见,例如,基于性别、与期刊编辑或合作编辑的亲密程度、作者工作地点的排名(Blank 1991;Laband and Piette 1994)或作者的职业年龄(Hamermesh and Oster 1998)。

然而,缺乏对期刊内部运作的数据访问限制了可以提出的问题的种类。除了少数例外,这一领域的大多数以前的工作都是基于一个或多个期刊发表的文章的数据,或从这些期刊的编辑那里获得的小随机样本。没有提交的所有文章的数据限制了可以提出的一系列问题(例如,人们无法看到被接受和被拒绝论文的差异)。

我们汇编了一套独特的数据集关于所有提交给国际经济学杂志十多年来解决这些问题。我们对期刊表现及其合作编辑的更直接的评估可能有助于指导参与过程的所有各方。

的数据

从1995年到2004年共收到3032篇投稿,其中约600篇(20%)获录用发表。尽管期刊页数翻了一番(从每年700页增加到1400页),但录取率几乎减半,从27%降至14%!大多数被录用的论文至少要经过一次修改:只有0.6%的提交论文在没有修改的情况下被录用,约23%的论文被送去修改,约78%的论文最终被录用。由于没有办公桌拒绝政策,第一轮未被拒绝的论文(162天)和第一轮被拒绝的论文(132天)的初审时间差异相对较小。

对于1995年至2004年提交的每一篇文章,我们都要观察作者的姓名、论文标题、提交日期、处理这篇文章的联合编辑的名字、第一次决定和后续决定(如果有的话)的日期,以及该决定。此外,我们从作者的简历中收集了详细的背景数据,以及每次提交的最终结果数据,如其最终命运以及其受到的专业(引用)。

发现

出版过程涉及到许多方面,他们可以从更好地理解这一过程的内部运作中获益。既然编辑们有兴趣发表好论文而拒绝坏论文,那么对第1类和第2类错误的程度进行一些说明应该是非常有用的。的2类错误高(7%的已发表论文完全没有被引用)和1类错误低(极少数论文被被排名更靠前的期刊所接受。在被拒绝的2434篇论文中,只有564篇发表,而在这564篇论文中,只有14%发表在排名高于排名的地方,甚至这些词被引用的频率也是所有词的一半左右平均论文。这表明,更高的标准可能相对来说成本较低。我们的工作还表明,在标准上存在编辑的异质性,而那些被分配给他们的论文质量较差的编辑往往会更宽容,这与他们低估提交给《世界新闻报》的平均质量是一致的.向编辑提供反馈,告诉他们的标准相对于其他编辑的排名如何,可以帮助减少编辑标准的异质性。

也有一些证据表明,在出版过程中存在进入壁垒:例如,在所有规范中,良好的联系(在网络期刊上发表过文章,征求意见)是非常积极的。这可能是无伤大雅的:更好的学者联系更紧密,写出更好的论文,所以他们的工作更容易被接受。然而,如果是这样的话,那么这类论文也应该被更频繁地引用,控制引用应该会消除这种影响。虽然这在数据上是部分如此(网络期刊上的出版物从高度显著到不那么显著,规模系数下降),但效果仍然存在,表明有必要进行更多的工作,更好地控制质量。

最后,我们使用probit模型以及变异(使用最大似然技术)来研究接受的决定因素,这些变异控制了由于没有网络存在的作者无法获得的数据所产生的选择偏差。我们发现我们的模型很好地预测了接受度(仅基于作者的特征)。仅仅在样本外运行这个回归,并拒绝接受概率在底部25-33%的论文,结果几乎没有“错误的”拒绝。事实上,对于单作者的论文,我们可以拒绝最低的40%的论文,不会出错。人们会期望,通过快速浏览报纸,编辑可以做得比这种机械的方法好得多!这表明,在办公桌上拒绝大量文件是可能的,而且成本很低。

结论

总的来说,国际经济学杂志似乎在鉴别质量方面做得很好,尽管更严格的标准,对合作编辑的表现进行反馈,以及办公桌拒绝政策可能会提高效率。特别是改进寄给裁判员的一套文件,可以减轻所有有关方面的负担,而几乎没有成绩方面的费用。此外,向合作编辑和可能的审稿人提供关于他们相对表现的反馈,以及他们收到的论文相对于平均水平的质量构成信息,可以帮助减少标准方面的异质性。这样的政策建议是否可以应用到其他经济期刊上,还需要更多的分析,这就需要更多的数据。

参考文献

丽贝卡·m·布兰克1991。双盲与单盲评估的影响:来自《美国经济评论》的实验证据美国经济评论, 81(5): 1041 - 1067。

Robert M. Bowen和Gary L. Sundem, 1982。会计和金融文献的编辑和出版滞后会计审核57(4): 778 - 784。

Cherkashin, Ivan, Svetlana Demidova, Susumu Imai和Kala Krishna, 2008。《内幕消息:国际经济学杂志的接受与拒绝》国家经济研究局工作文件第13957号。

罗伯特·K·科和欧文·温斯托克,1967年。主要经济期刊的编辑政策。经济与商业季度回顾7(4): 37-43。

埃里森,格伦。2002 a。《经济学出版过程的放缓》政治经济学杂志, 110(5): 947 - 993。

埃里森,格伦,2002 b。学术出版标准的演变:q-r理论政治经济学杂志, 110(5): 994 - 1034。

丹尼尔·S·哈默梅斯和莎伦·S·奥斯特,1998年。“经济学家的老龄化和生产率。”《经济与统计评论》, 80(1): 154 - 156。

David N. Laband和Michael J. Piette, 1994。“偏袒与寻找好论文:期刊编辑行为的经验证据”政治经济学杂志, 102(1): 193204。

Trivedi, Pravin K. 1993。《计量经济学出版滞后分析》应用计量经济学杂志8(1): 93 - 100。

加里·w·尤伊,1980年。经济学期刊当前出版滞后。经济文献杂志, 18(3): 1050 - 1055。

主题:经济研究前沿

标签:经济期刊出版物编辑器

伊凡Cherkashin

澳大利亚国立大学经济与商业学院经济学助理教授

麦克马斯特大学经济系经济学助理教授

女王大学经济学系助理教授

宾夕法尼亚州立大学经济学文科研究教授

事件

经济政策研究

Baidu
map