中华人民共和国成立前,人民解放军基本由单一的陆军组成,而且陆军除少量的炮兵和工兵外,主要是步兵。中华人民共和国成立后,人民解放军的军兵种建设迅速发展起来。
1949年11月,以第14兵团机关为基础组建了空军领导机构,刘亚楼任司令员、萧华任政治委员。1950年4月,以第12兵团部部分机构为基础组建了海军领导机构,萧劲光任司令员。海空军领率机关组建后,其所属的兵种部队逐步健全起来。
1950年11月,公安部队领导机构成立,罗瑞卿任司令员兼政治委员。12月,防空部队领导机构成立,周士第任司令员、钟赤兵任政治委员。1955年七八月间,公安部队和防空部队的番号分别改称为公安军和防空军。这时,人民解放军共有陆军、海军、空军、防空军、公安军5大军种。5大军种并存的局面持续不到两年,1957年防空军和公安军的番号先后撤销,只剩陆军、海军、空军3大军种。
在建立军种部队的同时,陆军的主要兵种领导机关也建立起来。1950年8月,以第4野战军炮兵的部分领导机关为基础组建了炮兵领导机构,陈锡联任司令员。9月,以第2兵团机关为基础组建了摩托装甲兵(后改称装甲兵)领导机构,许光达任司令员。12月,以中南军区工兵司令部为基础组建了工兵(后改称工程兵)领导机构,后任命陈士榘为司令员。
此后,在1954年3月,成立铁道兵领导机构。1956年1月,成立防化学兵领导机构。4月,组建了通信兵领导机构。1966年7月,地地导弹部队领导机构即第二炮兵领导机关成立。8月,基本建设工程兵开始组建。至此,直属中央军委领导的兵种达到8个,即炮兵、第二炮兵、装甲兵、工程兵、通信兵、防化学兵、铁道兵、基建工程兵。
随着人民解放军体制编制的调整,除第二炮兵外,其余7个兵种机关陆续撤并。1969年和1975年,防化学兵和通信兵先后并入总参谋部。1982年,撤销军委炮兵、装甲兵、工程兵领导机关,分别改为总参谋部的业务机关。铁道兵领导机关与铁道部合并,基建工程兵撤销。