1949年3月，解放军攻打山西，曾经的山西王阎锡山面对这样的情景，一边对部下说势与山西共存亡，一边拼命的给国民党驻山西办事处打电话，让他们赶紧想办法把自己救出太原。
在关键时刻，阎锡山并没有什么血拼到底的想法，留得青山在不怕没柴烧，在前线最紧张的时候，阎锡山秘密乘坐飞机逃到了南京。
山西王离开了山西，自然也称不了“王”了，但阎锡山此时只感到庆幸。反正仓皇逃窜的人不止他一个，将来到了台湾，他不是照样过荣华富贵的日子吗？虽说地盘没了，可阎锡山觉得自己在政治上还有戏唱。
1949年6月，阎锡山升任为国民政府的行政院长，这是老蒋在背后推动的结果，当时老蒋和李宗仁正在博弈，老蒋指望阎锡山这枚棋子帮自己扳倒李宗仁。阎锡山也知道，自己这会儿想要得势，得抱紧老蒋的大腿。所以走马上任之后，阎锡山便高举起“拥蒋反李”的大旗，在阎锡山等人的扶持下，老蒋终于如愿以偿，重新掌握了核心权力。
阎锡山本指望老蒋投桃报李，但是老蒋却不这么想，在老蒋心里，无论李宗仁也好，阎锡山也罢，都是他独揽大权的阻碍，无非是阎锡山的威胁比李宗仁略小一些，但是老蒋依然不能对阎锡山放心。所以，无论阎锡山怎样示好，老蒋都不会让他真正碰到实权。
这让阎锡山非常郁闷，他又何尝没有政治野心呢？不过人在屋檐下，不得不低头，跟随老蒋来到台湾之后，阎锡山更受冷遇，而且他在政治上又犯了一个大错。当时老蒋有意给自己的儿子蒋经国铺路，指望将来蒋经国接班，只是蒋经国这一番上位给阎锡山等旧人带来了极大的冲击，所以包括阎锡山在内的一众人士对于蒋经国接班持反对意见。
阎锡山对人抱怨说：“中国数千年来政治经济上的病根，在家天下政权私有……传贤的制度变为传子，把一个增进人类幸福的政治设施，变成了人类悲惨的表演”
然而老蒋并不在乎，既然阎锡山反对，那就让阎锡山成为蒋经国的垫脚石，很快，阎锡山就遭到了特务监视，处处受限，阎锡山倍感惶恐，于是在三月份提出了辞职，决定不再干涉这些乱七八糟的事情了。
软禁生涯辞职之后，阎锡山打算和夫人徐竹青一起到美国生活，但是他还没有动身，便被老蒋扣押，他的出国计划被老蒋无情驳回。老蒋的意思很明确，阎锡山哪里也别想去，唯一的生路就是在台湾终老。
阎锡山虽然无奈，却也只能被迫接受这种变相软禁，他拿出积蓄在阳明山买了一处荒地，在这里盖了几间茅草屋，表现出决意归隐田园的态度。无所事事的阎锡山每天住在山上，唯一解闷的方式就是耕种山后的几亩地，内心十分孤寂，对于家乡的思念难以抑制。为了缓解自己的思乡之情，阎锡山在自己的草庐旁边又盖了一间窑洞，住进窑洞，就好像回到了他山西的老家。
这样的生活看似悠闲，其实极为艰苦，老蒋命令阎锡山，只要离开阳明山的居所，都要给他打报告，不过阎锡山打上去的报告基本都被老蒋驳回，就连他恳求出国探望一眼自己的孙子，老蒋也坚决不让，有人统计过，从1953年起，阎锡山打上去的报告只被批准了四次。
而阳明山当时水电不通，打个电话都困难，公路完全没有，每年夏季还得迎接台风，阎锡山住在这里，几乎每天都在进行“生存大挑战”，何况他一人独居在此，就算是哪天死了，都未必有人知道。
说起来，阎锡山家中有不少人口，连原配夫人都不在他身边。这说起来就是个复杂的家庭故事了，阎锡山的原配徐竹青是大家闺秀出身，早年间和阎锡山的感情很不错。但是徐竹青始终没能为阎锡山生下个孩子，阎锡山急着传宗接代，于是又在父亲安排下纳了一方小妾徐兰森，生了五个孩子。
凄凉离世原本妻妾之间相处还算和睦，阎锡山也教导孩子们要敬重徐竹青这个“母亲”，只是日子一长，阎锡山愈发宠爱徐兰森，渐渐冷落原配，后来他事务繁忙，出门都把徐兰森带在身边，把徐竹青留在老家，孩子们对徐竹青也视作外人。
这让徐竹青非常伤心，对阎锡山的情分也消弭殆尽，后来徐兰森去世，阎锡山想到原配夫人的种种好处，又想要和她共同生活，但是已经坐了半辈子冷板凳的徐竹青已经不想再对阎锡山抱有希望了，因此，两个人依然保持着分居的样子。
阎锡山被软禁阳明山之后，徐竹青搬到了山下十几里外的地方，隔三差五来探望阎锡山一次，不过两人之间相处冷淡，不像是多年夫妻，倒像是普通朋友。徐竹青和阎锡山这样尴尬的关系，加上蒋家父子的压制，也不方便前来照顾他，阎锡山只能自己保重自己。
1960年5月，阎锡山独自一人在山后散步，不慎失足，摔了一跤，对于一个78岁的老人而言，这一跤几乎致命。阎锡山摔断了腿，在家休养期间，偏偏又赶上山上气温骤降，阎锡山染上了严重的风寒感冒，还诱发了心脏病。
因为当时山上只有阎锡山一人，所以迟迟没人把他送到医院，直到5月23日，瘫倒在床上的阎锡山才被人发现，那个时候阎锡山已经快要不行了，被送到医院抢救一个小时之后，阎锡山便停止了呼吸。
阎锡山死后，老蒋倒是给了他足够的面子，不仅亲自出席葬礼，还送了一个“怀怆老勋”的牌匾，随后老蒋安排把阎锡山埋葬在阳明山七星山的墓地中，这块墓地是阎锡山生前亲自选中的，这里的方向可以遥望他的家乡，只不过今生今世，阎锡山再也回不去他的故乡了。
,
