中国人民解放军第32军是由山东军区及其所属部分部队发展起来的。
1948年3月，为适应解放战争形势发展的需要，华东军区将山东军区所属滨北、东海军分区各一个独立团及胶东军区各一个团组成第5师。5月，又将胶东军区南海、西海、北海军分区各一个独立团组成第6师。第5、第6师成立后，均归胶东前线指挥部指挥。第5师随即参加潍县战役，与第13纵队一起在东线沽河地区阻击青岛国民党军西援。10月后，为策应淮海战役，第5、第6师在青(岛)、即(墨)地区封锁、监视国民党军。12月，对从青岛、即墨出犯的国民党军予以反击，歼其一个团大部。
1949年2月，根据中央军委关于统一全军编制和部队番号的命令，胶东军区前线指挥部改编为中国人民解放军第32军(军长谭希林，政治委员兼政治部主任彭林，副军长刘涌，参谋长赵一萍)，隶属山东军区。下辖第94师(由第6师改称，政治委员熊飞，副师长邬兰亭)、第95师(由第5师改称，师长陈奇，政治委员阙中一)。全军共2．1万人。
1949年4月下旬，第三野战军主力投入渡江战役期间，第32军在胶东军区第100旅的配合下，对青岛、即墨地区国民党军发起进攻，以压缩包围方式结合迂回战术，相断攻占即墨、青岛，歼守军2200余人。随后担任青岛市警备任务。
1950年1月，以山东警备第4、第5团和第2、第3团各一部为基础组建了第96师，编入第32军(军长刘涌，政治委员彭林，副军长兼参谋长周长胜，副政治委员兼政治部主任仲曦东)建制。全军共3．2万余人。2月，第32军调归第10兵团指挥并由青岛南下福建，执行以剿匪为主的海防、警备和作战任务。4至12月，共进行大小战斗380多次，歼匪特8000余人，有力地配合福建地区的土地改革和剿匪斗争。5月11日，第94、第91师解放了东山岛。
1950年11月，第32军番号撤销，军机关大部充实重建的第8兵团兵团部，第94师调归第27军建制，第95师调归军委空军，第96师调归福建军区建制。
