阎锡山跟着蒋介石去了台湾，性命是保住了，但是却没有了军权，这对于做了38年土皇帝的阎锡山来说，是否有点残忍，当惯了山大王，现在做隐士，谁都受不了，但阎锡山认命了，财权不带来死不带去，无权无势的阎锡山似乎看淡了，也淡泊从容了。
阎锡山的最后十年是在台湾阳明山度过，劳碌一辈子的阎锡山没有了兵权，反而是一件自在的事，以前做军阀时，时常与人争地盘，与日本斗法，还要治理好山西，真是劳心劳力，现在退下来，终于可以管管自己的事，终于可以“一身簑衣任平生”。
退下来的阎锡山，喧嚣一下静下来，有大把的时间需要打发，于是，他脱下了官服，拿起了笔写书，记录了自己大半生的人生历程和感悟，这也当作他离开这个世界留下后人的礼物。连自己也没想到，他戎马一生，到人生最后阶段还可做了一回书生。
阎锡山的友人张日明回忆，阎锡山辞掉行政院长之后，就选择在丽水街隐居，任风云如何变幻，他都不问世事，过了半年，他才搬到风景怡人的阳明山来居住，除了这里适宜养老之外，他可能对王阳明的那套“知行如一”的哲学感兴趣。
美不美，家乡水，亲不亲，家乡人。晚年的阎锡山很怀念家乡山西的一草一本，还有他的父老乡亲，他多想回家乡看看，与亲朋戚友叙叙旧，看看年少时成长的地方，但现实的条件却不允许，那只能在梦里重回故乡，感受片刻的感动。
阎锡山年纪越大，思念家乡的情感渐浓，他特定把居住的屋子门窗彻成窑洞的横样，甚至在台湾开山辟土，建窑洞来住，感受一下窑洞冬暖夏凉的好处，但由于台湾与山西的气候条件差别太大，最后还是放弃了。由此可见，昔日统领千军万马的大军阀阎锡山是一个很念旧之人。
阎锡山平日的饮食很简单，没有山珍海味，没有满汉全席，只是简单不能再简单的“馒头配青菜”、粉面条之类，菜式都是一些豆腐、鸡蛋、鱼干等。可能，他见过繁华炫丽之后，才明白“平平淡淡才是真”这句话的真谛。
1960年5月23日，阎锡山走完了自己人生之路，终年78岁。临死前，他给自己写了一副挽联：有大需要到来，终能成大事业；无大把握而去，终难得大机缘。上联写他凭着辛亥革命的浪潮，一举成了山西的大军阀，下联写国军败退去，就再难也重回故土的机缘了。
,
