公共场合中通过摄像机实现人数计数具有重要的研究价值。比如:候车大厅中人群计数的结果，可优化公共交通的调度;某区域中人数的急剧变化既可能会导致意外事件的发生，又可能是意外事件发生的结果。公共场合中采用摄像机实现人群计数在智能安防领域具有重要价值。因此，人群计数(CrowdCounting)或者人群密度估计(CrowdDensityEstimation)是计算机视觉和智能视频监控领域的重要研究内容。
人群计数的通常的方法大致可以分为三种:1）行人检测:这种方法比较直接，在人群较稀疏的场景中，通过检测视频中的每一个行人，进而得到人群计数的结果，一般是用基于外观和运动特征的boosting，贝叶斯模型为基础的分割，或集成的自顶向下和自底向上的处理，这种方法在人群拥挤情况下不大奏效，需要运用到基于部件模型（如DPM）的检测器来克服人群拥挤遮挡的问题。2）视觉特征轨迹聚类：对于视频监控，一般用KLT跟踪器和聚类的方法，通过轨迹聚类得到的数目来估计人数。3）基于特征的回归:建立图像特征和图像人数的回归模型，通过测量图像特征从而估计场景中的人数。由于拥挤情况下采用直接法容易受到遮挡等难点问题的影响，而间接法从人群的整体特征出发，具有大规模人群计数的能力。
基于特征的回归一般分为以下3个步骤：1）前景分割：前景（行人或人群）分割的目的是将人群从图像中分割出来便于后面的特征提取，分割性能的好坏直接关系的最终的计数精度，因此这是限制传统算法性能的一个重要因素。常用的分割算法有：光流法、混合动态纹理、小波分析、背景差分等。2）特征提取：从分割得到的前景提取各种不同的底层特征，常用的特征有：人群面积和周长、边缘信息、纹理特征、闵可夫斯基维度等。3）人数回归：将提取到的特征回归到图像中的人数。常用的回归方法有：线性回归、分段线性回归、脊回归、高斯过程回归等[1]。可以通过发表于CVPR08的PrivacyPreservingCrowdMonitoring:CountingPeoplewithoutPeopleModelsorTracking[2]来了解以下整个算法流程。首先用动态纹理的方法分割出运动的人群，之后做视角归一化，在归一化后的人群块上提取特征，用高斯过程回归将提取的特征回归到图像中人群数量。系统框图如下：
2、单幅图像人群计数算法对于单幅图像而言没有运动信息，那么人群分割就显得非常困难，因此此类算法一般直接从整张图像或者将图像分块从其子区域提取特征，然后再计算图像中人群数量。图像分块可以理解为是一种离散化透视效果的方法。
1、Contributionsofthispaper
当前阶段人群计数的主要问题有以下几点：在大多数现有的工作中，前景分割是必不可少的，但前景分割是项艰巨任务；人群的密度和分布会有显著变化，因此传统的基于目标检测的模型很难workwell；需要一种有效的特征来针对图像中人群规模可能有显著变化的情况。基于以上问题，作者提出了一个基于CNN的新框架用于任意单幅图像上的人群计数。MCNN包含了三列具有不同滤波器大小的卷积神经网络。所做贡献如下：1）多列架构的原因是：三列对应于不同大小的感受野（大，中，小），使每个列卷积神经网络的功能对由于透视或不同的图像分辨率造成的人/头大小变化是自适应的（因此，整体网络是强大的）。2）用一个1*1滤波器的卷积层代替了完全连接的层，因此模型的输入图像可以是任意大小的，避免了失真。网络的直接输出是一个人群密度估计图，从中可以得到的整体计数。3）收集了一个新的数据集用于人群计数方法的评价。比现有的数据集包含更复杂的情况，能更好地测试方法性能，1198张图，330,165精确标定的人头。数据集分A和B两个部分，A是从互联网上随机找的图，B是上海的闹市截取图，如图5所示为A、B部分图。
2、Densitymapbasedcrowdcounting
给定一张图像，用CNNs来估计人数，一般有两种方案：一是输入图像，输出估计的人头数目；二是输出的时人群密度图（每平方米多少人），然后再通过积分求总人数。作者支持第二种，有以下两点原因：1）密度图保留更多的信息。与人群的总数相比，密度图给出了在给定图像中人群的空间分布，这样的分布信息在许多应用中是有用的。例如，如果一个小区域的密度比其他区域的密度高得多，它可能表明一些异常发生在那里。2）在通过一个CNN模型学习密度图时，学习到的滤波器更适应于不同大小的头，因此更适合于有透视效果显着变化的任意输入。所以这些滤波器具有更多的语义，提高了人群计数的准确性。
3、Densitymapviageometry-adaptivekernels
4、Multi-columnCNNfordensitymapestimation
MCNN主要是受到MDNNs[6]在图像分类上取得成功的启发而提出来的。MCNN网络的每一列并行的子网络深度相同，但是滤波器的大小不同（大，中，小），因此每一列子网络的感受野不同，能够抓住不同大小人头的特征，最后将三列子网络的特征图做线性加权（由1x1的卷积完成）得到该图像的人群密度图，类似模型融合的思想。采用了2*2的max-pooling和ReLU激活函数。（注意，因为这里用到了两次max-pooling，所以需要先对训练样本也缩小到1/4，再生成对应的密度图groundtruth）
5、OptimizationofMCNN
由于训练样本有限以及深度神经网路存在梯度弥散问题，会对参数学习造成困扰。作者借鉴RBM预训练的思想，通过直接将第四层卷积层的输出映射成密度图，分别对每一列CNN进行预训练。然后使用这些预训练的参数对MCNN的网络参数进行初始化，同时对所有参数进行微调。
6、TransferlearningsettingMCNN的一个优势在于能学习到不同大小人头对应的密度图。因此，如果该模型用一个包含各种大小人头的大数据集来训练，则该模型可以很容易地适应（或迁移）到另一个人头大小是一些特定的尺寸的数据集。如果目标域只包含少量的训练样本，可以简单地将MCNN的每一列前几层固定，只有微调最后的少量卷积层。这样固定前几层使在源域中学习的知识可以被保留，微调后几层很大程度上降低了模型适应目标域的计算复杂度。
1、Evaluationmetric
2、Shanghaitechdataset
4、Comparingperformances
MCNN方法在除了UCF_CC_50（训练图片数量太少，难以满足深度学习的需求）以外的常用人群计数数据集上均取得最好的性能。
5、Evaluationontransferlearning
这篇论文提出了的MCNN模型，能对任意视角的单张图像进行人数估计，并在常用人群计数数据集上均取得最好的性能。同时该模型可以较为容易迁移到针对另一人群目标域进行应用。