明英宗被俘之后吃了不少苦头，也先派一个懂汉语的蒙古男孩专门服侍明英宗，此人名叫哈铭。此后，哈铭和他的父亲一直跟在明英宗身边。后来明英宗赐给他一个汉姓杨，改名为杨铭。

《正统临戎录》就是杨铭的记述，记载兵败之际明英宗的遭遇，用的是第一人称，书里提到：

十月十五日，也先带着明英宗到了德胜门外的土城庙里，城里派出赵荣等大臣，带着酒、羊等出来见皇帝。明英宗很不满意，说：“家里怎么大官人不出来？”

也先在一旁问：“这个都是甚么识事？”

明英宗回答说：“这个都是小官。”

季铎说：“是中书舍人。”

也先说：“大臣宰每怎么不出来接皇帝进去？养狗还认得主人。我把皇帝送到门口，都不来接皇帝进去。”

明英宗说：“你每都回去，到家里说，叫大臣每出来见太师，接我进去。”

赵荣等人回去，也先很生气，不等城里再传来消息，带着明英宗离开，向北移动。又派伯颜帖木儿来对明英宗说：“诚心送皇帝来到你的城门前，你的家里兄弟做了皇帝，你的臣宰悖了你的恩，不肯出来认你，接你进去做皇帝。”

也先又对明英宗许诺，不久就会放他回去，让他宽心，“皇帝宽心，不要见了京城想娘娘，忧慽出病来。有些好歹，到坏了我的名头。”

明英宗心里非常不痛快，已经到了家门口，却无法进城去，又要跟着蒙古人回到荒漠中去游荡。随后的那个冬天，明英宗的日子有点难过。也先等人曾经谋划，带着明英宗向陕西进军，夺下陕西，再向南京进军。他们一定要好好利用手里掌握的明英宗。问题是，现在北京有了新皇帝，明英宗的价值大大打了折扣，明朝边城的守将也不太把他当成一回事了。

五月份，哈铭前往大同探听消息，回来之后当天夜里就睡在明英宗身边。早晨起来，二人之间有一段对话，明英宗说：“哈铭，你知道？”

哈铭说：“不知道。”

明英宗说：“你昨夜一只手压在我胸前，我不曾推下你的去。直待你醒了，翻身抬下去。是你为我辛苦困了。知道汉时光武皇帝与严子陵同宿，严子陵脚压在光武皇帝身上，也只等他自翻身抬下去。你到比他一般。”

哈铭说：“该万死！”

明英宗说：“到家与你都指挥做，钦此！”

哈铭喜出望外，赶快叩头谢恩。明英宗与哈铭挤在一起睡觉，可见他当时处境的艰难与简陋。从最后的一句话可以看出，明英宗相信他一定还能回到北京，还能坐回到皇帝的宝座上，他在心里并没有把自己看成太上皇。毕竟，刚刚二十几岁就做了太上皇，确实太早了一些，明英宗当然不习惯，也不会甘心。从他的话里看出，他回去以后还想接着做皇帝。

景泰元年，也先不断侵扰明朝的西北边境，但已经无力对北京造成真正的威胁。七月，明景帝派右都御史杨善、工部侍郎赵荣前往瓦刺，与也先达成协议，放回太上皇。八月初二，也先亲自送明英宗上路，跪献弓箭、战裙，痛哭而辞。明英宗回到宣府，北京派出商辂、许彬等人前来迎接，明英宗对许彬说：“为了我们朱家的祖宗社稷，让官人们费了许多心血。现在我有幸回来，到北京之后情愿闲处。你们把我的这些想法写下来，让御弟皇帝知道。”

明英宗通过许彬，向弟弟明景帝表明自己的态度，就是尊重现实，不谋求再做皇帝，保持现状。在回北京之前，这样的书面表态是必须的，明景帝和朝中的百官必须确信，回来的这一位是太上皇，不是皇帝。

有了这样的表态，太上皇朱祁镇终于回到了北京，明景帝亲自到东安门迎接。兄弟相见，相隔只有一年，二人君臣易位，恐怕各人心中的滋味都不好受，都有一些难堪。

太上皇被安排住进了南宫，明景帝率领朝中百官前去拜谒，这已经是明景帝愿意做、能够做到的最高敬礼了。土木之变，明朝损失巨大，几十万军人与官员丧命，刚愎固执的明英宗难辞罪责，明景帝留给他一个太上皇的名位，已经相当宽容了。

十一月，礼部尚书胡濙请求明景帝准许朝廷百官为太上皇祝贺生辰，明景帝不许。年底，胡濙又请求正月初一准许百官到延安门去朝见太上皇，明景帝依然不许。