五台山附近的长城叫黑山关,在历史上与太行山西北部的龙泉关具有同等的军事战略地位,现在北黑山隘口南北两端可以见到蜿蜒盘旋的用就地不规整石块建筑的古长城遗址,北端大约250米,南端大约60米,其中比较完好的有100米左右,墙高3米;隘口因建国后修出省公路将其原建筑拆除,究竟隘口原来的军事防御是关门建筑还是一道石墙连接南北,有待考证。另外,在隘口南部的悬崖峭壁上,有军阀混战时期阎锡山建筑防御工事石洞(因石洞难以攀登,远处只能看到4个洞口)。
黑山关长城可追溯到战国初期。此地曾经是赵国、燕国与中山国争夺和交战的重要关口,以此专家推测这段长城最早极有可能是2300多年前素有“神秘王国”之称的中山国所建,以此防御比自己强大的燕、赵、魏等国。
相传中山国与较强大的战国时期“七雄”相比是一个很小的诸侯国,能在夹缝中生存与占据黑山关有利的地势有关