山西地貌类型复杂多样，有山地、丘陵、高原、盆地、台地等，其中山地、丘陵占80%，高原、盆地、台地等平川河谷占20%。大部分地区海拔在1000米以上，与其东部华北大平原相对比，呈现为强烈的隆起形势。最高处为东北部的五台山叶头峰，海拔达3058米，是华北最高峰；最低处为南部边缘运城垣曲县东南西阳河入黄河处，海拔仅180米。境域地势高低起伏异常显著。
山西省境内山峦叠嶂，丘陵起伏，沟壑纵横，总的地势是“两山夹一川”，东西两侧为山地和丘陵隆起，中部为一列串珠式盆地沉陷，平原分布其间。全省主体轮廓很像一个“凹”字形。
山西东部是以太行山为主脉形成的块状山地，由北往南主要有恒山、句注山、五台山、系舟山、太行山、太岳山和中条山脉及其所属的历山、析城山等，其山势挺拔雄伟，海拔在1500米以上。
山西西部是以吕梁山为主干的黄土高原，自北向南分布有七峰山、洪涛山和吕梁山脉所属的管涔山、芦芽山、云中山、黑茶山、关帝山、紫荆山、龙门山等主要山峰，海拔多在1500米以上，关帝山海拔最高达2831米。由北而南珠串着彼此相隔的雁北、忻州、太原、吕梁、阳泉、长治、晋城、临汾、运城九大“多”字形断陷盆地。