却说武帝元狩三年秋，匈奴伊稚斜单于起兵复仇，分为两路，每路各有胡骑数万，攻入右北平、定襄两处，杀掠人民千余人而去。单于得胜回国，料想汉兵必定来攻，遂与赵信计议。赵信兵败降胡，单于因其在汉年久，熟知中国情形，甚加宠任，封之为自次王，以其姐嫁之，又筑城使之居住。赵信便教单于度过沙漠迁居北方，勿近边塞引诱汉兵深入，乘其疲困击之，必能取胜。单于听从其计，便将人畜悉数移至漠北居住。武帝闻单于移居之计，便召卫青、霍去病等议道：“赵信为单于设计北迁，以为我兵不能远度沙漠。我今大发士卒多备粮食，剿灭匈奴在此一举。”
元狩四年春，武帝乃命大将军卫青、骠骑将军霍去病，各率马兵五万、步兵数十万、公私之马十四万匹，分道前进。武帝见霍去病胆略过于卫青，便选取敢战深入之兵给霍去病，命霍去病兵出代郡，卫青兵出定襄，约期度过沙漠共击匈奴。二将所领人马数目相同，惟霍去病部下却无裨将，遂用李广之子李敢等为大校，以当裨将。李广见武帝大举伐胡，却不命其为将，心中不悦，遂自向武帝请行。武帝道：“将军年纪已老，不可再临战阵。”
李广一再固请，武帝沉吟良久方才应允，遂拜李广为前将军，与左将军公孙贺、右将军赵食其、后将军曹襄俱属于大将军卫青。卫青与霍去病领命，带同将士择定吉期出发。卫青兵由定襄出塞，于路捕获胡人问明单于所在，自率大军兼程前进。却命李广与赵食其合兵取道东行，约期会合。李广心想，东行路势弯曲多需时日，且沿途水草甚少，不能供给大队人马，且须分作数队缓缓而行，此明是大将军不欲我立大功，所以使我行此远路，于是对卫青说：“臣所部系前将军，当为先锋击敌。今大将军乃调臣使出东路，不知何意？且臣束发从戎即与匈奴交战，直至今日，臣愿率领所部效死前敌。”
卫青闻言不允其请。李广便固辞不愿东行，卫青见李广违令，乃用强制手段命其遵令。李广心中愤怒，也不向卫青告辞，奋然走出，回到自己军营，会合赵食其领兵就道。说起卫青与李广，平日并无仇怨，此次为何不令其为前部呢？只因临行之际武帝曾密嘱道：“李广年老命蹇。毋使独当单于，恐被单于逃走，不得成擒。”
卫青既受武帝密嘱，自己又与公孙敖至好，公孙敖因前次出师误了军期，失去侯爵，现在军中为校尉，卫青意欲提拔他立功复爵，故调开李广，以公孙敖代为前部。李广不知武帝有此言语，只知卫青欲将公孙敖代己立功，因此愤愤不平。卫青打发李广去了，自己便催兵北进，行千余里度过沙漠。单于探得汉兵来攻，却也惊慌，即忙准备迎敌。赵信献计道：“汉兵度漠远来人马疲乏，我可坐待其至信手擒来。”
单于便将辎重送往北方，自率精兵驻扎漠北，远见汉兵到来，列阵以待。卫青防备胡骑驰突，下令用武刚车环绕为营。武刚车乃是一种兵车，车箱四围皆有板壁，上安小窗以备瞭望，旁开箭眼，四围环列刀枪，敌骑不得冲突，弩箭不能贯穿，算是当日行军利器。卫青立定营盘，先遣马队五千前往挑战，匈奴亦遣万骑迎敌。两阵对圆正待交战，此时日已将没大风忽起，吹得尘沙滚滚扑人面目，两军对面不能相见。卫青复遣骑兵数万分为左右翼前进，包围匈奴。两下交战良久，天色已晚，单于见汉兵甚多士马精强，趁着薄暮乘坐六骡，率领劲骑数百突围而去。汉兵不知，仍与胡兵力战至夜，彼此暗中相持，杀伤大略相等。后来汉军左校捕得胡人，据说单于未昏之时早已逃去。卫青急发轻骑乘夜往追，自率大军继进。此时胡兵也战得筋疲力尽各自散去。卫青意欲追捉单于，率领将士疾驰一夜，马不停蹄直到天明，行有二百余里，竟不见单于踪迹。又前行至赵信城，得匈奴积谷。卫青入城驻军一日，人马皆得饱餐。到得次日，卫青见匈奴并无动静，不敢再行深入，遂传令班师。所余积谷尚多，于是放起一把火来，将赵信城烧个罄尽，然后起行。卫青行至沙漠之南，方与李广、赵食其军队相遇。原来李广、赵食其由东路进兵，路径不熟，半途迷惑失道，以致迟误日期，此时方到。李广见过卫青，回到自己军中。卫青遣长史持了酒醪干饭赠与李广，问二将失道原因，并说要上书天子具报此种情形。李广明知卫青有意为难，未即对答。长史见李广不答，便到李广幕府内责备军吏，催其即作报告。李广闻知愈怒，便对长史道：“诸校尉无罪，乃我失道无状，我当自行上簿便了！”
说完即趋至幕府流涕对将士道：“广自结发从戎，与匈奴大小七十余战，有进无退，今从大将军出征匈奴，大将军令广东行，迂回失道岂非天命！我今已六十多岁，死不为夭，怎能再对刀笔吏乞怜求生？”
说罢便拔出佩刀自刎而死。一班将士出其不意抢救无及，便即为广举哀。后人有诗叹道：老不封侯命可知，年衰何必再驱驰？漠南一死终无益，翻使千秋得指疵。却说骠骑将军霍去病，率领大军由代郡出塞，行二千余里，正遇匈奴左贤王率众三十余万前来迎敌。霍去病挥兵进击，连战数次，汉兵大胜，擒获匈奴属王三人，官吏八十三人，捕斩敌首七万余级，左贤王率领败残兵士逃去。去病奏凯而回。武帝大喜，下诏褒扬霍去病战功，益封五千八百户，部下诸将皆得封赏。李敢受封关内侯，食邑二百户。此时卫青亦率诸将回京，武帝因其不能追获单于，且所斩敌首不过万余级，与霍去病相去甚远，故卫青不得加封，连部下将士也无封赏。赵食其失道当死，赎为庶人。是役两军共杀匈奴八九万人，而将士死者亦有数万人，公私战马十四万匹，及入塞不满三万匹。虽然胜得匈奴，所受损失也不少，武帝见霍去病战功高于卫青，而官位尚在其下，未免有屈，于是设置大司马一职，下诏命大将军卫青、骠骑将军霍去病，皆为大司马。自此以后，卫青宠幸日衰，霍去病日益贵盛。卫青故人及门下宾客见此情形，多撇却卫青来投去病。独有任安一人不肯变节，卫青始知其贤。李敢怨恨卫青强夺其父前部之职，迫使东行，以致冤愤自杀，便欲为父报仇。一日李敢来与卫青相见，责问其父致死之由。卫青方欲伸辩，李敢突然奋拳击来。卫青不及提防，身上早被击伤，连忙走避得脱。论起卫青素有膂力，若与李敢交手，未必斗他不过，何以竟肯退让，其中却有两个原因。一则李广官居前部，本应使为先锋，却因私受武帝之命，无故将他调开，依理而言自己究有不是；且李广因此丧命，无怪其子怀恨，不如暂时忍受以平其气；二则卫青待人一直宽让，又兼位大将军，若与部将之子争斗，未免失了体统。有此二因，所以卫青不但不与李敢计较，反当作并无此事，禁止家人传说，自在家中养伤。李敢见卫青不敢出声也就罢了。可是霍去病听说李敢竟然打伤卫青，不由大怒。霍去病本是卫青外甥，心想我舅度量宽洪偏能忍受，但我须设法替他出气。霍去病想定主意，外面却不露声色，元狩五年，霍去病与李敢随从武帝前往雍县甘泉宫射猎，一班将士正在纵放鹰犬驰逐鸟兽。霍去病向人丛中觑定李敢放了一箭。李敢不知霍去病恨他，未曾防备，明枪易躲暗箭难防，竟被射中要害立时身死。左右见了大惊，急来报知武帝。武帝明知是霍去病射死，无奈心爱去病，不欲使之坐罪，遂命左右拔出箭镞，将李敢尸首交其家族收葬，只说是在场射猎时被鹿触死，霍去病竟然无事。却说匈奴伊稚斜单于率领数百骑向西北逃走，及汉兵既去，匈奴大众寻觅单于十余日，竟不知其踪迹所在。于是右谷蠡王乃自立为单于，代领其众。过了一时，伊稚斜单于又回故处，右谷蠡王乃除去单于之号，仍就故职。统计匈奴兵马不过数十万，自经卫青、霍去病等人累次征讨，死亡过半，其势大衰。加以人民一闻汉兵到来，仓皇奔走，怀孕妇女往往堕胎损命，大众甚以为苦，只得住居漠北以避兵锋。赵信劝单于休战言和，遣使至汉重议和亲。武帝令群臣集议，或可或否，聚讼不休。丞相长史任敞道：“匈奴为我军破败，怎得与我朝和亲？”
武帝称善，便令任敞偕同胡使北往匈奴，数月不闻复命，想是不肯和亲被拘留，武帝未免怀忧，临朝时又提及和亲利弊。旁有博士狄山上前说道：“和亲最好。”
武帝问道：“何以见得？”
狄山道：“兵乃凶器，不可屡动。昔高帝受困平城，始议和亲，所以孝惠高后之时天下安乐。及文帝欲伐匈奴，北方又苦兵事。景帝自七国乱平，口不言兵，人民富实。今陛下兴兵击胡，中国因之空虚，边人多致贫困，由此观之，不如和亲。”
武帝听后便问张汤道：“此言如何？”
张汤知武帝不欲议和，遂对道：“此乃愚儒无知妄说。”
狄山见张汤当着众人之面骂他愚儒，心中愤怒，也顾不得势力不敌，应声说道：“臣固是愚忠，若御史大夫张汤乃是诈忠。张汤前治淮南衡山之狱，用苛刻之法，痛诋诸侯，离间骨肉，使藩臣不能自安，臣所以说张汤乃是诈忠。”
武帝见狄山指斥张汤，心中大怒，也不与辩论是非，便向狄山作色道：“我让你出守一郡，你能不使胡虏入寇么？”
狄山说不能。武帝又问他能任一县否？狄山又说不能。武帝又问他能居一亭障否？狄山不好再辞，只得说能。武帝便遣他居守一障。才阅一月，狄山竟暴毙，头颅都不知去向。时人说是为匈奴所杀，其实无从证明。朝臣见狄山枉送性命，以后再也不敢多嘴说和亲。但汉兵疮痍未复，马亦缺乏，亦不能再击匈奴。惟将近边一带之地占领，移民耕种。又分置吏卒守之，边境稍得无事。过了年余霍去病病死，武帝十分痛惜，谥为景桓侯，赐葬于茂陵之旁。命其子霍嬗嗣袭父爵。霍嬗字子侯，年纪尚幼，亦得武帝宠爱，拜为奉车都尉。综计霍去病一生，凡六次出师，杀敌十一万余人，又降浑邪王之众四万余人。卫青凡七次出师，杀敌五万余人。去病既死，卫青也不再攻击匈奴。霍去病去世后，赵破奴继承其遗志，带领他的骠骑军继续为强汉帝国建功立业。汉元封三年，北方战事再起。西域楼兰与车师二国在匈奴的指使下，屡屡拦截汉使劫掠汉商队财物，严重破坏丝绸之路的安定与和谐。楼兰与车师是西域东面的门户，汉武帝本就志在必得，闻此自是大怒，乃遣匈河将军赵破奴远征二国。赵破奴不愧为霍去病麾下第一猛将，他竟独自率领轻骑七百，西出阳关一千六百余里，神兵天降，大破楼兰生擒其王，继而横扫车师，兵威直指中亚强国乌孙、大宛。一时间西域震怖，诸国纷纷遣使向汉朝谢罪。汉武帝非常开心，乃封赵破奴为浞野侯。后人有诗赞道：黄沙百战穿金甲，不破楼兰终不还!这时匈奴儿单于继位，年少嗜杀，众人不安。匈奴左大都尉想杀掉儿单于，暗中派人告诉汉朝说：“我想杀掉单于投降汉朝，汉朝太远，请立即发兵来迎接我，我就发兵杀掉单于。”
于是汉武帝任命赵破奴为浚稽将军，率2万多骑兵从朔方郡出发，向西北行进2千里，与匈奴左大都尉约定日期到浚稽山。赵破奴率军到了浚稽山后，匈奴左大都尉想发兵攻打单于，阴谋泄露而被诛杀。匈奴单于发兵攻打赵破奴，赵破奴兵少，且战且退，路上俘虏了几千胡兵。赵破奴退到距受降城400里以外的地方时，被匈奴左贤王的8万骑兵包围。赵破奴夜间出去找水，被胡兵活捉，胡兵因此猛攻汉兵，汉兵全军投降。赵破奴留在匈奴十年，后来和儿子一起逃回了汉朝。“巫蛊之祸”时，太子刘据兵败自杀。因为刘据是汉武帝与皇后卫子夫的嫡长子，卫青是刘据的舅舅，霍去病是刘据的表兄弟。巫蛊之祸中，卫青和霍去病的子孙多人被杀，与卫、霍二人有关系的人也受到牵连。赵破奴曾经是霍去病的部将，因此也受到牵连被杀。这是后话