南北朝期间刘宋、萧齐、萧梁沿习东晋侨置淮南郡于江南，市境先后有豫州、梁郡等侨置郡县。北魏、北齐、北周、隋时，市境复为淮南郡所辖，凤台县属汝阴郡下蔡县。
唐置淮南道，市境属淮南道寿州所辖，凤台县属河南道颍州下蔡县。五代十国时期淮南道称谓不变，寿州、下蔡先后为吴、南唐所有。
北宋置淮南路，市境属淮南路寿州所辖。熙宁五年（1071年）分淮南路为东西两路，市境属淮南西路寿州所辖，淮河以南属寿春县，淮河以北属下蔡县。后宋金和议达成，以淮河、大散关为界，市境淮河以北属金国，淮河以南为宋地。
元代，市境属河南江北行中书省安丰路，分属寿春、下蔡两县所辖。至元二十八年（1291年）建怀远县，今市区东部属怀远县所辖。
明代，全境属南直隶凤阳府辖地，分属寿州（包括今凤台县）、怀远县、凤阳。
清代，市全境属江南省凤阳府，安徽省凤阳府。分属寿州、怀远、凤阳所辖。雍正十一年（1733年）从寿州分置出凤台县，辖故下蔡县地，同城分治。同治三年（1864年）凤台县迁治于下蔡县故地（今城关）。
1949年1月18日淮南解放。3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿..；4月，淮南煤矿..改设为淮南矿区。1950年9月，建县级淮南市。1952年6月，建立省辖淮南市。1977年1月，凤台县由阜阳专区划入；1999年11月，毛集社会发展综合实验区批准成立。2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆乡、杨公镇、孙庙乡由长丰县分别划入淮南市大通区、田家庵区、谢家集区。
淮南城市是在70年代中期随着煤炭大批开采而壮大起来的，70年代后期淮南城市人口就达到40－－50多万人，至80年代城市人口就达到60－－70多万人。
现淮南市下辖5区2县，是安徽省辖区最多的城市。拥有地方立法权。
