自然语言总有丰富的内部结构信息，而这些信息一般都是通过解析树（parsetree）来进行表示。一般而言，我们把从一个句子到句法树的这一过程称为句法解析（parsing）。
句法解析有很多种形式，最为常用的是基于短语的句法解析（constituencyparsing）和依存句法解析（dependencyparsing）。句法解析作为自然语言处理（NLP）的基础任务之一，可以帮助很多其它的任务，包括机器翻译（machinetranslation），句子分类（sentenceclassification）和语义角色标注（semanticrolelabeling）等。
在2004年之前，无监督句法分析有一些研究工作，但是效果都不好（甚至超不过从左连到右（right-branching）和从右连向左（left-branching）这俩baseline）。
第一个取得突破性进展的是来自Stanford的NLP组。当时DanKlein还在Stanford跟随ChrisManning读博士，主要的研究方向就是无监督句法分析，其2004年在ACL发表的工作提出的DependencyModelwithValence(DMV)生成式模型首次超过了branching的baseline。DanKlein天才式的直觉使得其在无监督句法解析上获得突破性进展，并在毕业后担任UCBerkeley的助理教授，领导BerkeleyNLPGroup。
DMV模型提出后，有很多改进的工作。来自JohnsHopkins的NoahSmith当时正在跟JasonEisner读博士，他对DMV的目标函数和学习方式做了一些改进，把英文句法解析的效果提高了近20个百分点。2006年他以杰出的工作在博士毕业后任职CMU的助理教授（现在在UW）。
自DanKlein毕业后，Stanford的DanielJurafsky组的ValentinISpitkovsky继续从事这一方向的研究，提出了babysteplearning，viterbiEMtraining等方法来训练DMV模型，因其提出的方法简单有效，后续有很多基于viterbiEMtraining的工作。
下图是传统句法解析的步骤，左图是原始句子，中图是词性标注后的结果，右图是解析出的句法树：
因为无监督句法解析这个任务比较困难，我们一般用标注后的词性序列（POSTagsequence）作为训练数据，而不是原始的句子。
（一篇发表在EMNLP2016上，一篇发表在EMNLP2017上）
DMV是一个句子级别的生成模型，建模句子x和句法树y的联合概率分布P(x,y)。从根节点开始递归地生成句子中的词。下面是一个词性序列生成过程的例子：
这个生成过程有10个采样步骤，每一步生成一个词或者做一个是否继续生成的决策。这里采样的概率在原始的DMV模型里是用一些表来建模，我们在EMNLP2016提出使用神经网络来计算这些概率，同时，把离散的词，方向等通过embedding来表示。如下图所示，输入是词性，valence和方向，输出是规则的概率集合，我们把模型称为NeuralDMV(NDMV)。
在我们了解的范围内，这是第一次把神经网络用在无监督句法解析上。学习的过程也很简单：
学习是期望最大化（EM）算法的变种，E步使用动态规划得到每个grammarrule的使用次数，M步分为两部分：
第一部分是通过grammarrule的使用次数训练神经网络的参数；
第二部分是通过神经网络预测grammarrule的概率，以此循环直至收敛。
下图是我们在PTB上的实验效果，可以发现我们在相同设定下取得了目前最好的效果：
我们知道，大模型和大数据是深度学习成功的关键，因此我们也想在无监督句法解析上大模型和大数据的关系。我们对NDMV进行了拓展，引出词的信息，并在多种大小数据集上进行了实验，有了以下三个实验发现，发表在EMNLP2017上：
下图是在传统DMV模型上的实验，我们发现在相同数据下随着degreeoflexicalization的增加（模型变大），效果变差。但是随着训练数据的增加，效果有所提升。
当我们用神经网络来smooth这个概率分布后，明显发现在少量数据下随着degreeoflexicalization的增加效果下降的不那么严重了。
当我们使用更好的模型初始化方法（’expert’initialization）时，我们发现随着数据集的增大和degreeoflexicalization的提高，效果有了明显提升。
下图是我们在WSJ10数据上的表现：可以看到，我们在WSJ10上取得目前最好的效果，在完整的WSJ数据上也表现的不错。
（发表在EMNLP2017上）
给定一系列未标注的数据样本，我们训练的目标函数是（带正则项的）重建概率：
注意这里我们与原始CRF-Autoencoder的区别在于，我们是寻找条件联合概率最大的y而不是穷举所有可能的y。为了鼓励学习到的句法树符合一些语言知识，我们在这个目标函数上添加了一个软限制条件，最后的目标函数如下：
这里的Q(x,y)是一个对(x,y)对进行打分的项。我们提出使用坐标下降法来优化这个目标函数：交替优化encoder的参数和decoder的参数。在优化encoder的参数时，我们跑两个epoch的随机梯度下降；在优化decoder时，我们跑两轮维特比EM算法。
我们在八个语言上进行了测试，下表是在英语上的结果：
可以发现，我们的模型比2015年提出的另外一种判别式模型效果要好，跟目前最好的效果相当。
通过以上的分析我们知道，生成式模型和判别式模型在无监督句法分析上具有各自的优势。在这一篇论文里，我们提出联合训练这两个模型。联合训练的目标函数是：
这里的F和G分别代表两个模型，F是LC-DMV而G是Convex-MST。各自优化的目标函数是：
我们提出利用坐标下降来优化这个目标函数：交替优化y和两个模型的参数。在优化y的时候，对于每一个句子我们需要进行解码（decoding），这里我们利用对偶分解算法来求解。整个学习过程如下所述：
我们在30个语言上验证了我们的联合训练方法，最终效果如下所示：
实验发现，联合训练可以分别帮助两个模型得到更好的效果，有趣的是生成式模型最终效果比判别式的好。同时我们也做了一些实验的分析，发现联合训练后两个模型确实可以相互取长补短，学到对方一些好的特性。
最后想介绍一下上海科技大学屠可伟老师研究组。我们的研究组主要从事自然语言处理、机器学习、知识表示等人工智能领域的研究，近两年在EMNLP、IJCAI、AAAI、ICCV等顶级会议上发表了十余篇论文，现招收硕士研究生和博士后，欢迎对自然语言处理和机器学习有兴趣的同学联系屠可伟老师。