2002年刚满40岁的霍利菲尔德仍然不服老，虽然他在上一场比赛中战平了老对手鲁伊兹，他依然认为自己仍是重量级的顶级拳手，6月，他与前世界重量级拳王拉曼展开了对决，当时媒体分析这场比赛的胜者极有可能再次挑战刘易斯。
这场重量级焦点之战，最终以拉曼受伤而提前结束，比赛中霍利菲尔德连打带撞，将拉曼左眼上方的前额撞出了一个看起来非常恐怖的血肿，霍利菲尔德在三个计分卡中处于领先，所以成为了最后的胜者。
当年刘易斯已经奠定了自己在重量级的地位，他对这两位老对手都不感兴趣，反而一直追求和泰森的二番战，当时泰森以先打一场过渡战为由拒绝了刘易斯，这时IBF要求刘易斯下一战必须面对该组织一号挑战者克里斯·伯德，然而刘易斯宁愿被剥夺金腰带也不接受伯德的挑战。
因此，霍利菲尔德被安排和伯德争夺空缺的IBF重量级拳王头衔，和霍利菲尔德一样，伯德也是一位经验老道的技术型拳手，对于老霍一些边缘技术他早已有了应对的办法，结果和赛前众多媒体所预测的一样，伯德12回合点数击败霍利菲尔德成为了新拳王。
2003年和2004年，霍利菲尔德分别输给了“熄灯号”詹姆斯·托尼和拉里·唐纳德，尤其是和托尼的比赛，于第九回合惨遭KO，比赛中霍利菲尔德反应非常迟钝，在第五回合后他看起来有些体力不支，赛后很多人都建议他应该封拳退役。
然后霍利菲尔德并没有退役的打算，而是选择继续征战，但纽约州体委已经禁止霍利菲尔德在纽约参加拳击比赛，想要继续参加比赛必须通过了一系列的医学测试，最初，很多人对于他的复出给予了批评，但他坚持认为，他输给托尼和唐纳德是因为肩膀受伤，而不是年老。
2006年重新获得拳击执照的霍利菲尔德首战旗开得胜，两回合KO了四线拳手贝特斯，之后他取得了四连胜，在这四场比赛中他看起来的确好多了，似乎已经回答了批评者们的问题。
正是因为这四场胜利使他再一次获得了挑战拳王的机会，2007年10月13日，已经45岁的霍利菲尔德与俄罗斯名将伊布拉吉莫夫争夺WBO重量级冠军头衔，在赛前霍利菲尔德扬言要成为重量级史上首位五次登顶的人，要大爆冷门，然而，这场比赛没有发生什么意外，伊布拉吉莫夫控制了整场比赛，最终以118–110和两个117–111的比分胜出。
霍利菲尔德并没有因为这次失败而放弃再次成为冠军的念头，他对媒体说：“我要战斗，再次成为世界重量级冠军。然后我会写一本书告诉大家我是怎么做到的。"2008年12月20日，他在瑞士的哈伦顿球场，以60万美元的出场费迎战WBA重量级冠军“俄罗斯巨兽”，这场比赛也是霍利菲尔德职业生涯最后一场世界头衔战。
霍利菲尔德也清楚这是他最后的机会，如果赢得胜利他不但能成为首位五次登顶者，还能超越福尔曼此前所保持的最年长的冠军纪录，虽然赛前霍利菲尔德被严重的不看好，但他在比赛中的表现出乎所有人的预料。
比赛中霍利菲尔德打得非常巧，控制了大部分回合，然而最终的比分却是二比一瓦鲁耶夫胜出，其中一位裁判以114–114的比分给出平局，而其他两位给出116–112和115–114的比分。许多业内人士对这个决定感到愤怒，认为霍利菲尔德才是胜利者，并且优势很明显。
由于这场比赛争议巨大，WBA对也进行了调查并成立了一个评委小组审查比赛录像，该组织还表示，他们"将在今后几周内作出相应的决定"。许多人猜测，最有可能的情况是立即重新比赛，但遗憾的是未能实现。
此后霍利菲尔德还曾叫板了小克里琴科，对此小克回应：您是我非常尊重的前辈，我不想伤害你，在2011年10回合KO尼尔森后，霍利菲尔德正式宣布退役，结束了自己27年的职业生涯。
