虽然通过贸易让两个国家得到了交流，但是哈拉德人的内心从来没有认同过刚铎王国，他们只是表面的顺从而已，到了第三纪元的1432年到1447年，刚铎爆发了血腥的内战“亲族争斗”，刚铎战败的叛军逃到了乌木巴尔，他们日后成为了海盗，这些乌木巴尔海盗与哈拉德人通婚，经过几代人的繁衍，致使哈拉德人除了肤色比刚铎人黑以外，外貌和体型几乎差别不大。
在第三纪元1540年，哈拉德人与海盗结成同盟一起进攻了刚铎的海岸线，成了刚铎的心腹大患，到了第三纪元的1900年左右，哈拉德人内部的各个诸侯爆发内战，这个时期在中土的东方崛起了一支强大民族叫战车民，他们不断向南扩张，蚕食着哈拉德人和瓦力亚德人的领地，因此三方经常爆发军事冲突。正当三方要大打出手时，索伦在这个关键时候出现了，他调停了三方势力，让战车民、瓦力亚格人、哈拉德人握手言和，结成联盟，一起入侵刚铎王国。
在接下来的岁月里，东方人类和南方的哈拉德人不断对刚铎发动战争，严重削弱了刚铎的国力。到了第三纪元2460年，刚铎王国已经日渐衰败，随着警戒和平时期结束，索伦重返多尔多格要塞，哈拉德人再次集结乌木巴尔的海盗向刚铎发动袭击。
第三纪元末期，索伦宣布重新崛起，哈拉德人再次投靠到了索伦麾下，在魔戒圣战期间，哈拉德人组成了一支规模庞大的军队进入魔多，极大提升了索伦的军事实力，投靠索伦的哈拉德军队分为“近”哈拉德人和“远”哈拉德人，“近”哈拉德人指的是生活在“近”哈拉德地区的人类，这个区域指的是刚铎和魔多以南的地区，与可汗德相连，它没有明显的疆域，只能大概确定其边界，“远”哈拉德地区则是在“近”哈拉德地区的基础上更向南的区域，它是中土大陆遥远的南方广阔的未知区域，这一区域的范围非常模糊，作者托尔金也提到过，甘道夫在中土世界四处游历的时候，或许到达过远哈拉德地区，但是只在那里停留了很短暂的时间，没有过多的了解，因为这些投靠索伦的远哈拉德人参加了后来的著名的帕兰诺平原之战，所以才被世人所知道。据说他们皮肤黝黑，相貌可怕，就如同是人妖。这支部队有可能在魔戒圣战之战中全军覆没，或者只有寥寥数人逃回家乡。
,
