北魏太武帝始光四年（427）于今山西新绛县柏壁镇置东雍州。北周明帝武成二年（560）改东雍州为绛州，徙闻喜县龙头城（今山西省闻喜县礼元镇龙兴堡）。武帝时复移于柏壁。建德六年（577）再徒今山西稷山县玉壁。

隋代开皇三年（583）州治从玉壁迁至今山西新绛县城。

唐武德元年（618）置绛州总管府。辖绛、潞、盖、建、泽、沁、韩、晋、吕、浍、秦、蒲、虞、芮、邵等十五州。绛州领正平、太平、曲沃、闻喜、稷山等5县。

贞观中，绛州属河东道。

宋改为雄州，辖正平、曲沃、翼城、太平、稷山、绛、垣曲等7县。

金改置绛阳军节度使。兴定二年（1218）升为晋安府。兴定三年（1219）又置河东南路转运司，领正平、翼城、曲沃、闻喜、垣曲、太平、绛、平水等8县。

元初为中州，置绛州行元帅府，辖河、解二州各县。后罢元帅府，仍为绛州，隶平阳路，领正平、翼城、曲沃、闻喜、垣曲、太平、绛等7县。

明为绛州，属山西布政司，隶平阳府，领稷山、垣曲、绛等三县。

清初属领仍旧。雍正二年（1724）改为直隶绛州，领稷山、河津、闻喜、垣曲、绛等5县。

1912年（民国元年）5月，废州改县，取咸与维新之义，又兼与邻近的绛县相区别，始改称新绛县，属河东道。1927年（民国16年）废道，直隶省府。