晋冀鲁豫地区各地因敌情不同，敌后斗争的形式也不尽相同。其中水东区水长期处于敌后，主要靠地方武装独立自主地开展游击战。冀鲁豫旧黄河以南地区，敌我主力拉锯斗争十分激烈，地方武装依据情况的变化，或独立坚持敌后斗争，或直接配合野战军作战。其它几个地区的地方武装，主要在边沿地区对进犯解放区之敌进行广泛的游击战，以制止敌人对解放区的蚕食。
水东敌后根据地，接近郑州、开封等敌战略要点。敌人为消除其后方威胁，于1946年6月底，在围攻中原解放区的同时，集中35个团的兵力，对水东游击区实行大规模的进剿。7月上旬，冀鲁豫第六军分区（又称水东分区）率第三十团，在冀鲁豫军区独立旅的支援下，积极进行反“围剿”斗争，在杞县南郑寨歼敌整编第六十八师第一四三旅两个营，接着又攻克柘城，全歼守敌700余人。8月间敌主力北上进攻鲁西南地区后，第六军分区独立坚持敌后斗争，摧毁了国民党许多地方政权，扩大了根据地。12月12日，中共中央晋冀鲁豫局根据中央军委的指示，决定在陇海路以南，以第六军分区及位于津浦路徐蚌段以西、陇海路徐州、商丘段以南的华中军区第八军分区为基础，组成豫皖苏军区，辖第一、第二、第三军分区，一个独立旅，一个特务团。军区组成后，采取“敌进我进，避强击弱”的战法，积极打击敌人，巩固并扩大原有的游击根据地。1947年1月上旬，军区独立旅等部为配合晋冀鲁豫野战军遂行的巨、金、鱼战役，攻克涡阳，歼守敌保安团一部以及由毫县、永城出犯之敌整编第五十八师新十旅一个多团，第三军分区武装也乘势恢复了商丘、毫县、柘城、夏邑地区，并渗入萧（县）宿（县）永（城）砀（山）地区开展活动。第一军分区以一部武装开辟了贾鲁河以西地区。第二军分区部队进至鹿邑、淮阳地区，建立了6个县政权。至此，豫皖苏3个军分区沟通了联系。3月上旬至4月初，军区独立旅及第一、第二军分区部队又克睢县、周家口、通许、宁陵，予敌以重大打击。之后，敌第六绥靖区等部14个团的兵力，采用“棋盘战术”对我第一、第三军分区进行重点“围剿”。我军以小部分散坚持内线斗争，以主力转至外线机动歼敌。至5月中旬，先后攻克豫皖边9座城镇，并于6月下旬，一举攻克皖北重镇阜阳。同时，第一、第三军分区还分别组建了水西支队和豫南支队，开辟了水西和沙（河）南地区，活动于许昌、临颍以东及商水、上蔡一带，给保安团队、还乡团等以沉重打击。豫皖苏边区的地方武装和民兵，在战争头一年坚持艰苦的敌后斗争，经常牵制着敌军4个正规旅及许多保安团队，粉碎敌6次大的“扫荡”，巩固与扩大了游击根据地，为晋冀鲁豫野战军转入战略进攻建立了前进基地。
冀鲁豫边区的黄河以南地区，从1947年2月下旬晋冀鲁豫野战军转至豫北作战后，便成为独立坚持的敌后地区。坚持这个地区斗争的冀鲁豫军区独立旅、各分区基干团和县区武装，采取内外线密切配合的方针，于3月上、中旬粉碎了敌两次扫荡。3月下旬，晋冀鲁豫野战军发起豫北反攻，黄河以南20余县仅有敌4个整编师守备。冀鲁豫军区各级地方武装乘虚向敌展开攻势，歼敌2600人，攻克鲁西南的城武、平阴、汶上等10座县城，进一步巩固、扩大了根据地。
