最近大型数据集的可用性，结合统计学、机器学习和计量经济学领域的进步，产生了对具有许多可能预测因子的预测模型的兴趣。例如，在2018年，一个想要预测美国GDP未来增长率的研究人员可以使用数百个潜在有用的预测变量，如总就业和部门就业、价格、利率和许多其他变量。
在这种“大数据”情况下，标准估计技术——如普通最小二乘(OLS)或最大似然——表现不佳。为了理解其中的原因，考虑一个OLS回归的极端情况，它的回归量和观察量一样多。该模型的样本内拟合将是完美的，但其样本外性能将糟糕得令人尴尬。更正式地说，回归量的增加放大了估计的不确定性，产生了不准确的样本外预测。因此，推理方法旨在处理这一问题诅咒的维度变得越来越受欢迎。
Ng(2013)和Chernozhukov等人(2017)认为，这些方法可以分为两大类:
- 稀疏模型技术．这些方法的重点是从大量可能的回归变量中选择一小组具有最高预测能力的解释变量。例如，流行的LASSO及其变体属于这类估计器，它们产生预测模型的稀疏表示(Tibshirani 1996，参见Belloni等人2011年的最近调查和这些方法在经济学中的大数据应用的例子)。
- 密集的建模技术．在光谱的另一端，这些技术认识到，所有可能的解释变量可能对预测很重要，尽管其中一些变量的影响可能很小。这一见解证明了使用收缩或正则化技术是合理的，当样本信息较弱时，通过强制参数估计较小来防止过拟合。因子分析或Ridge回归是密集统计建模的标准例子(Pearson 1901, Tikhonov 1963，参见Stock and Watson 2002或De Mol et al. 2008关于这些技术在经济学中的大数据应用)。
虽然这两种方法在精神上是相似的，但在预测精度上可能有所不同。此外，有收缩的密集模型和有变量选择的稀疏模型之间有一个基本的区别，前者将一些系数推小，后者将一些系数设为零。低维、稀疏的模型似乎也更容易从经济上解释，这对研究人员来说是一个有吸引力的特性。
在开始讨论这些结构解释是否有根据之前——在大多数情况下，考虑到模型的预测性质，它们是没有根据的——重要的是要解决数据是否有足够的信息量，以支持稀疏模型，并排除密集模型。
稀疏造型还是密集造型?
我们建议通过评估包含稀疏和密集方法的模型来阐明这些问题(Giannone等人，2017年)。我们的主要结果是稀疏预测模型在经济学中很少被采用。只有当研究人员强烈偏好低维模型时，才会出现更清晰的稀疏模式。
我们开发了由Mitchell和Beauchamp(1998)最初提出的“钉板”模型的变体。其目标是利用许多预测指标，例如大量宏观经济指标，来预测一个令人感兴趣的变量——比如GDP增长。
该模型假定只有一些预测因素是相关的。相关的未知分数——用q表示——是一个关键的兴趣对象，因为它代表模型的大小。但是，请注意，如果我们试图在这个简单的框架中对模型大小进行推断，我们永远不会估计它非常大。这是因为没有正则化的高维模型会遭受维度的诅咒，如上所述。因此，为了使我们的稀疏-密集烘焙更公平，我们还允许收缩:每当一个预测器被认为是相关的，它对响应变量的影响被防止过大，以避免过拟合。然后对模型尺寸和收缩程度进行贝叶斯推断。
在宏观、金融和微观领域的应用
我们在六个流行的“大”数据集上估算了我们的模型，这些数据集被用于宏观经济学、金融学和微观经济学领域的大型信息预测分析。
在我们的宏观经济应用中，我们调查了美国总体经济活动的可预测性(Stock和Watson 2002)和国家横截面经济增长的决定因素(Barro和Lee 2004, Belloni等人2011)。
在金融领域，我们研究了美国股票溢价的可预测性(Welch和Goyal 2008)，以及解释美国股票回报横断面变化的因素(Freyberger et al. 2017)。
在我们的微观经济分析中，我们调查了美国各州横断面犯罪率下降背后的因素(Donohue and Levitt 2001, Belloni et al. 2014)，以及美国司法巡回法庭中政府征用私有财产问题裁决的决定因素(Chen and Yeh 2012, Belloni et al. 2012)。
表1报告了我们的六个应用程序的一些细节。就数据类型(时间序列、横截面和面板数据)和相对于预测因子数量的样本量而言，它们涵盖了广泛的配置范围。
表1总结经验应用的细节
源: Giannone et al.(2017)。
结果1:没有明显的稀疏模式
我们的贝叶斯推理过程交付的第一个关键结果是，在除一个应用之外的所有应用中，数据不支持稀疏模型表示。为了说明这一点，图1绘制了相关预测因子比例(问)在我们的六个实证应用中。在Micro 1的情况下，这个后验集中在非常低的值周围，但在其他情况下都没有。在所有其他应用中，较大的值问的可能性更大，这表明，为了提高预测的准确性，包含多个预测因子是可取的。例如，在Macro 2和Finance 1的情况下，首选的规范是包含所有预测器的密集模型(问= 1)。
图1相关预测因子分数的后验密度(问）
源: Giannone et al.(2017)。
更令人惊讶的是，我们的后验结果与清晰稀疏模式的存在不一致，即使当后验密度问集中在小于1的值周围，如在Macro 1、Finance 2和Micro 2情况中。为了说明这一点，图2绘制了在六个经验应用中包含每个预测器的后验概率。
在这张图的“热图”中，每条垂直条纹对应一个可能的预测因子，颜色越深表示被纳入的概率越高。最直接的支线剧情来自《微1》。这是一个真正的稀疏模型，其中第39个回归量在65%的情况下被选中，其他所有预测量很少被包括在内。
图2每个预测因子被包含的概率的热图
源: Giannone et al.(2017)。
然而，其余五个应用程序并没有表现出明显的稀疏模式，因为所有预测器似乎都与不可忽略的概率相关。例如，考虑Macro 1的情况，其中最佳拟合模型是具有问如图1所示，约为0.25。但图2表明，对于应该选择哪一组特定的预测器存在很大的不确定性，因为有许多不同的模型使用大约25%的预测器，预测精度非常相似。因此，很难将预测模型的任何表示描述为稀疏的。
结果2:更多的稀疏性只与一个有利于小模型的先验偏差
我们的第二个重要结果是，只有当研究人员对具有少量回归量的预测模型具有强烈的先验偏见时，才会出现更清晰的稀疏模式。为了证明这一点，我们重新估计了我们的模型强迫问为了非常小(更正式地说，我们使用了一个以非常低的值为中心的非常紧的先验问）.
图3显示了用这种备选估计得到的后验包含概率。相对于我们的基线，这些热图有更大的浅色区域，表明有更多的系数被系统地排除，并揭示了所有六种应用中更清晰的稀疏模式。
换句话说，当模型被迫低维时，数据更善于识别一些强大的预测因素。当模型的大小不是先验固定的，模型的不确定性是普遍存在的。
图3当模型被迫为低维时，包含每个预测因子的概率热图
源: Giannone et al.(2017)。
综上所述，支持稀疏表示需要支持低维模型的强先验信念。在大多数情况下，认为数据的信息量足以识别稀疏预测模型的想法可能是一种错觉。
作者注:本文仅代表作者个人观点，并不代表欧洲央行、欧元体系、纽约联邦储备银行或联邦储备体系的观点。
参考文献
Barro, R J和J- w Lee(1994)，“经济增长的来源”，卡内基-罗切斯特公共政策系列会议40: 1-46。
Belloni, A, V Chernozhukov和C Hansen(2011)，“高维稀疏计量经济模型的推理”，载于经济学与计量经济学进展，2010年世界计量经济学会大会。
Belloni, A, D L Chen, V Chernozhukov和C Hansen(2012)，“适用于土地征用权的优化工具的稀疏模型和方法”，费雪80: 2369 - 2429。
Belloni, A, V Chernozhukov和C Hansen(2014)，“高维控制选择后治疗效果的推断”，《经济研究评论》81: 608。
陈德良、叶思(2012):“征收阴影下的增长?”征用权的经济影响，mimeo，图卢兹经济学院。
Chernozhukov, V, C Hansen，和Y Liao(2017)，“对密集和稀疏信号和恢复的熔岩攻击”，统计年鉴45: 39 - 76。
De Mol, C, D Giannone和L Reichlin(2008)，“使用大量预测器进行预测:贝叶斯收缩是主成分的有效替代方法吗?”计量经济学杂志146: 318 - 328。
Donohue, J J和S D Levitt(2001)，“合法堕胎对犯罪的影响”，经济学季刊116: 379 - 420。
Freyberger, J, A Neuhierl和M Weber(2017)，“非参数化的解剖特征”，NBER工作论文第1号。23227.
Giannone, D, M Lenza和G E Primiceri(2017)，”大数据的经济预测:稀疏的错觉， CEPR讨论文件第12256.
Hastie, T, R Tibshirani和M Wainwright (2015)，具有稀疏性的统计学习CRC的新闻。
Mitchell, T J和J J Beauchamp(1988)，“线性回归中的贝叶斯变量选择”，美国统计协会杂志83: 1023 - 1032。
Ng, S(2013)，“预测回归中的变量选择”，载于G Elliott和A Timmermann(主编)，经济预测手册， Vol. 2, Elsevier。
皮尔逊(1901)，“在空间中最接近点系统的线和平面上”，哲学杂志系列6(2): 559 - 572。
Stock, J H和M W Watson (2002a)，“使用来自大量预测器的主成分进行预测”，美国统计协会杂志97: 147 - 162。
Tibshirani, R(1996)，“通过套索的回归收缩和选择”，皇家统计学会杂志。系列B(方法论): 267 - 288。
Tikhonov, A N(1963)，“不正确表述问题的解决和正则化方法”，苏联的数学。Dokl．5: 1035 - 1038。
韦尔奇，我和A戈亚尔(2008)，“全面看股票溢价预测的经验表现”，金融研究综述21日:1455 - 1508。
