祁连山为昆仑秦岭地槽褶皱系的一个典型加里东地槽，褶皱迥返于陆相泥盆系磨拉石建造之前。北祁连山及河西走廊见中、下泥盆统不整合于下古生界及加里东晚期花岗岩之上；拉脊山见中、下泥盆统不整合于中、上奥陶统之上；南祁连山乌兰大坂见上泥盆统不整合于下志留统之上，代表祁连山主要于加里东晚期褶皱成山，基本由地槽变为地台发展阶段，故晚古生代一中、新生代均为地台盖层沉积。
祁连山的北界为塔里木一ALs地台，以大断裂分界。南界与东昆仑和西秦岭褶皱系间也为大断裂所切，两者沉积地层不同，如中吾农山一青海南山石炭、二叠系为冒地槽沉积，局部夹火山岩，而欧龙布鲁克隆起带寒武一奥陶纪时为地台型砂页岩碳酸盐建造，厚700-2000余米，假整合于上元古界全吉群之上。
祁连山脉西段由：走廊南山、黑河谷地，托莱山，托莱河谷地，托莱南山、疏勒河谷地，疏勒南山、哈拉湖盆地，党河南山、喀克吐郭勒谷地，赛什腾山、柴达木山、宗务隆山等一系列山脉与宽谷盆地组成。祁连山脉东段有：冷龙岭、大通河谷地，大通山、大坂山。在一系列平行山地中，南北两侧和东部相对起伏较大，山间盆地和宽谷海拔一般在3000-4000米之间，谷地较宽，两侧洪、冲积平原或台地发育。疏勒南山以东的北大河、黑河、疏勒河、大通河和布哈河等五河之源所在的宽谷盆地海拔高达4100-4200米。祁连山海拔4500-5000米以上的高山区现代冰川发育，现代冰川和古冰川作用的地貌类型都较丰富。祁连山区由于多年冰土的下界高程一般为3500-3700米之间，使大多数山地和一些大河的上游都发育着冰缘地貌。在冻土带以下的地貌作用中，东部以流水作用为主，西部风成作用较为明显。
祁连山素有“万宝山”之称，蕴藏着种类繁多、品质优良的矿藏，有石棉矿，黄铁矿、铬铁矿及铜、铅、锌等多种矿产，八宝山的石棉为国内稀有的“湿纺”原料。祁连山区冷湿气候，有利于牧草生长，在海拔2800米以上的地带，分布有大片草原、为发展牧业提供了良好场所。