在八路军主力开赴抗日前线后，由于党中央仍留在陕北，所以需要留下少数部队保卫党中央和巩固发展陕甘宁根据地。

后来军委决定，将八路军第115师炮兵营、辐重营，第120师第359旅第718团、特务营、工兵营、炮兵营、辅重营，第129师第358旅旅部和第770团、特务营、工兵营、炮兵营、辐重营，一共9000余人留守陕甘宁边区为统一指挥，成立八路军后方总留守处，萧为任主任。

后续，留守部队进行整编，除第358旅旅部和第770团外，共改编成8个团一个营，分别为：

第120师辅重营、炮兵营改编为警备第1团。

第129师特务营，炮兵营分别改编为警备第2、第3团。

第115师辐重营、炮兵营改编为警备第4团。

第120师特务营、工兵营分别改编为警备第5、第6团。

第129师工兵营改编为警备第7团。

第718团改编为警备第8团。

第129师辅重营改编为廊（现富县）甘（泉）独立营。

1937年12月，中央军委将留守处改称留守兵团，下辖陕甘宁边区保安司令部及所辖关中、庆环、三边、神府军分区统归留守兵团指挥。

1939年7月，军委炮兵团拨归留守兵团建制，后改编为特务团。

8月，成立关中警备司令部，10月，第359旅率第717、第718团（平山独立团改称）由晋察冀边区返回陕甘宁边区，接替绥德警备区防务。

以绥德警备司令部为基础成立警备第1旅，下辖警备第3、第8团，驻防关中地区。

4月，第359旅第719团、雁北支队、第4支队先后由晋西北到达陕甘宁边区。

至1941年底，留守兵团所属部队共计3个旅、20个团及若干独立营，总兵力达3.1万余人。