清遠市境在先秦時代，為古越族各部落聚居地。

西漢初年開始建縣，首置桂陽縣（轄今連州、連南、連山縣地，縣治在今連州鎮(zhèn)）。

南朝起，在建置縣級行政的基礎上，開始設郡置州：梁天監(jiān)六年（507），分湘、廣二州置衡州（治在含洭）；以陽山、桂陽、含洭、廣惠（亦名廣德）4縣。

明代在全國的政區(qū)設置分為布政司（初期為行省）、府（直隸州）、縣（散州）三級。

這一時期清遠境內(nèi)政區(qū)設置變動，英德州降格為英德縣，屬韶州府；撤銷桂陽州，并入連山縣。

洪武十三年，又在原來桂陽州的治所設立連州（即后來的連縣）。

洪武十四年，連州及其所轄的陽山縣和連山縣改屬廣州府。

萬歷十年（1582），清遠政區(qū)有：清遠縣、連州及所領陽山、連山2縣，隸廣東布政司廣州府；英德縣，隸廣東布政司韶州府。

清代康熙至乾隆十一年（1746），這一時期清遠境內(nèi)政區(qū)設置變動，只是佛岡直隸廳的設立。

清雍正七年（1729），連州改為直隸州，直隸廣東布政司，轄陽山、連山2縣。

嘉慶十八年（1813），清朝從清遠、英德2縣劃地設立佛岡直隸廳。

嘉慶二十一年，連山縣升格為連山綏瑤直隸廳，統(tǒng)管“連陽”瑤務，宣統(tǒng)三年（1911）復稱連山縣。

嘉慶二十五年（1820），清遠境內(nèi)設置的政區(qū)有1個直隸州：連州，屬南韶連道，直隸廣東布政司；2個直隸廳：佛岡、連山，分別屬廣肇羅道和南韶連道，直隸廣東布政司；3個縣：清遠、英德、陽山，分別隸屬廣肇羅道廣州府、南韶連道韶州府、南韶連道連州。

中華民國建立后，清遠的名稱和范圍與清代相同，但將府直轄地及州、廳皆改為縣，成為省、縣二級制，并于省、縣之間分區(qū)相繼設置綏靖區(qū)、行政區(qū)、行政督察區(qū)。

1912年，連州、連山直隸廳分別改為連縣、連山縣。

1914年，佛岡直隸廳改為佛岡縣。

1947年，國民政府設立連南縣，隸屬廣東第二專署行政督察區(qū)。

1983年7月，韶關實行市管縣新體制，清遠、佛岡兩縣從韶關地區(qū)劃歸廣州市管轄。

1988年1月7日，國務院批準撤銷清遠縣，設立地級清遠市，原清遠縣分為清城、清郊兩個市轄區(qū)，并劃廣州市屬的佛岡縣和韶關市屬的英德縣、陽山縣、連縣、連南瑤族自治縣、連山壯族瑤族自治縣為清遠市所轄。

1992年清郊區(qū)改稱清新縣;1994年，英德、連縣改為縣級市（連縣稱連州市），由清遠市代管。

2012年11月，國務院批復同意撤銷清新縣，設立清遠市清新區(qū)。