1936年12月31日，张学良被送上了南京的军事委员会审判，此时，他从西安带来的秘书和副官等人，也全都被缴械了，从此张学良开始了被软禁的生涯。
张学良在失去自由之初，情绪是非常低落的，每次饭菜都吃的很少，起初张学良睡觉有个习惯，每次都把穿的背心垫在床上，然后自己睡在上面。
特务们以为背心里有什么秘密，于是就搜查了背心，张学良此时再也忍不住了，大声骂道：“你们真缺德，真缺德！”足见他的情绪已经很不好了。
后来张学良被转移到了奉化溪口的雪窦山，并且他的妻子于凤至和赵四小姐获准可以探望他， 有了女人的陪伴，张学良的心情要好很多。
蒋介石曾说，用一个步兵团的经费，来维持张学良的生活开销，后来由于形势变化，1946年，张学良被转移到了台湾新竹县五峰乡桃山村，在这里渡过了近11年之久。
在这里张学良的生活待遇依然不错，由于远离城镇，张学良在这里时常带着斗笠种菜和垂钓，他和赵四小姐甚至还养了许多鸡，仿佛过着男耕女织的生活。
,
