据本县赵庄村和大坪村发现的新石器时代的石器鉴定，远在新石器时代已有人类在境内繁衍、生息。 

县境战国时期始置皋狼邑，属赵地，西汉置皋狼县属西河郡。西晋置左国城，属西河国。北齐文宣帝天保三年（552）置良泉县，属怀政郡（离石）。北周静帝大象年间增设窟胡县。隋文帝开皇三年（583）改窟胡县为修化县，属石州。隋炀帝大业三年（607）建方山县。唐高祖武德二年（619）置方州，县属之。武德三年（620）州废，改属石州。贞观十一年（637）方山县治移往今古贤，仍属石州，金宣宗贞祐四年（1216），县治迁于积翠山。元世祖至元三年（1266）省方山县，并入离石县，属石州。民国七年（1918）复置方山县，属冀宁道。民国二十六年（1937），属第四行政公署。民国二十八年（1939）属第二行政公署。民国二十九年（1940）晋西北成立抗日民主政权——山西省第二游击区行署，县属四专区。民国三十一年三、四专区合并为三专区，县属三专区。民国三十二年（1943），西北行政公署改名为晋绥边区行政公署，县属晋绥边区三分区管辖。1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，下设4个分区，县属离石分区。9月，山西省人民政府成立，县属兴县专区。1952年7月1日，撤销兴县专区，县归榆次专区。1954年7月1日与离石县合并为离山县。1958年11月10日中阳县并入离山县后，改名离石县。1971年5月1日恢复方山县，县城设在圪洞镇，属吕梁地区。2004年5月，吕梁撤地建市，方山县归吕梁市管辖。