军臣单于即位后，又一次放弃了和亲政策，起兵大举南下，掠夺了大量人口、财富，汉朝的报警烽火一度烧到甘泉宫（长安皇帝行宫）。不久汉文帝崩，景帝即位后，军臣单于联合七国，准备攻入长安，但因为七国之乱马上被平息，军臣单于放弃了进攻的计划。随后汉景帝送给匈奴财宝、宫女继续实行和亲政策， 此后匈奴不再大规模骚扰边境。后来武帝时期，因为汉朝给匈奴大量的优惠，匈奴与汉朝出现罕见的和平，匈奴平民可以自由的往来汉匈边境进行贸易，汉匈似乎开始了真正的和平。
其实，汉武帝不愧是伟大的政治家、军事家和战略家，在西汉给匈奴广阔的优惠的同时，一场史无前例的战争正在紧锣密鼓的进行着。而军臣单于领导的匈奴也开始将贪婪的舌头伸向了中原……这场耗时百年的战争终于在一次偶然的机会揭开了序幕。
汉朝马邑城的一个太守一次偶然机会发现中原人有一些大商人违犯禁令，运出货物到匈奴交易，于是他故意违反禁令，佯称出卖马邑城以引诱军臣单于，想一举消灭匈奴。军臣单于相信此事，又贪恋马邑城的财物，就用十万骑兵侵入边塞。这时，汉朝在马邑城附近埋伏下三十余万大军。单于大军即已进入汉朝边塞，离马邑城尚有一百余里的时候，看到牲畜遍野却无放牧之人，感到奇怪，就去攻打汉朝的侦察哨所。抓获的一个俘虏是汉朝的尉史（相当于前沿哨所长的职位），他向单于报告了汉朝军队的意图与埋伏地点。军臣单于恍然大悟，说：“我本来就对此事有疑心。”于是就率兵而回。走出边境时说道：“我得到尉史，是天意，天让你向我报告。”就封尉史做“天王”。从此以后，军臣单于断绝和亲关系，攻击直通要道的边塞，常常侵入汉朝边境抢掠，次数多得无法计算。同时匈奴还继续与汉朝互通关市，非常喜欢汉朝的财物（此时，中行说已经病死），汉朝也仍然与匈奴保持着关市贸易关系，投合他们的心意。
马邑军事行动之后的第五年秋天，汉朝派卫青、李广等著名的将军开始对匈奴进行反攻。开始双方各有得失，但匈奴的优势已经开始慢慢的消失，强大的中原汉王朝在四代皇帝的励精图治之下开始变得异常强大。
帝国结束
汉武帝元朔三年（乙卯，公元前一二六年），匈奴军臣单于死，其弟左谷蠡王伊稚斜自立为单于，攻破军臣单于太子于单，于单亡降汉，但此时的匈奴已经今非昔比，而中原的汉朝也进入了最鼎盛的时期。汉武帝先后派遣卫青、霍去病等在中国历史上显赫一时的将军对匈奴进行了疯狂的进攻。 在王庭之战中，匈奴主力被卫青率领的汉朝大军几乎全部消灭，匈奴向北处逃走，迁至荒芜的漠北草原。经过后来其他汉朝几位将军的进攻下，原来属于匈奴的国土几乎全部沦为汉朝领地。喧赫一时的匈奴帝国时代结束了。
经过这次失败，匈奴势力从此退出河套及其以西一带。史称“是后匈奴远遁，而幕（漠）南无王庭”。
发展走势
匈奴人由于远离水草茂盛的阴山地区，畜牧业生产发展从此受到严重限制。而汉王朝利用夺得的“匈奴左地”，令原为其附属的乌桓族（原住于辽河流域及老哈河一带）徒居上谷、渔阳、右北平、辽东、辽西五郡塞外，为汉侦匈奴动静；又派张骞出使西域，联络月氏、大宛，以公主妻乌孙昆莫（王），拆散匈奴与乌孙的联盟；复于浑邪王故地置酒泉、武威、张掖、敦煌四郡，切断其与羌族的交通。于是匈奴势力日削。
公元前114年（汉元鼎三年），伊稚斜单于死。子乌维单于（前114—前105）、孙乌师庐单于（前105—前102）相继立。
影视形象
2004年《汉武大帝》高发饰演伊稚斜
《汉武大帝》中的伊稚斜单于
罗斯·奥古斯特·奥托
约瑟夫·李斯特
弗兰克
格雷戈尔·孟德尔
贝克勒尔
威廉·哈维