1053年正月初，狄青与余靖、孙沔所率宋军会合。

在此之前，宋军中不听号令，轻敌冒进、贪功轻进的事情屡有发生。

蒋偕、张忠等将领因为轻敌而兵败身死，广西铃辖陈曙意欲在狄青到来之时抢头功，擅自带八千步兵向侬智高发起进攻，结果在昆仑关被打得大败，部下殿直袁用等人临阵脱逃，影响很坏。

为了严肃军纪，狄青下令对不听将令的陈曙等30多位当事人当场处斩，宋军上下无不震动，连余靖、孙沔也都相顾失色。

狄青分析地势和军情后认为，若要拿下侬智高据守的邕州，必取通道要地昆仑关。

但昆仑关地势险要，易守难攻。

狄青以筹备军粮为由，高调宣称部队休整十天。

侬智高打了一些胜仗，不自觉地就有些飘飘然。

他认为既然宋军粮草不济，肯定不会马上发动进攻，精神上有所放松。

狄青对外放风部队休整，第二天凌晨却紧急下令部队进发，以迅雷不及掩耳之势直抵昆仑关。

当天晚上狂风大作，天降大雨，狄青换上普通将士的军装，率领突击队冒雨进攻，侬智高还没回过神来，宋军犹如神兵天降已越昆仑关。

为挽回败局，侬智高急派骁勇兵将手持长枪阻挡宋军。

狄青则让步兵居前，2000骑兵藏在阵后，以待敌变。

侬智高凭借先前对宋军交锋的经验，以为不用费多大力气就能获胜。

两军在归仁铺一带发生激烈交锋，侬智高军十分强悍，宋军前锋孙节英勇牺牲，孙沔等人大惊失色。

狄青毫不畏惧，他登上高处手挥令旗，指挥骑兵从左右两翼杀出，将敌军分割成三段。

敌军阵脚大乱，宋军追击50里，斩首五千余级，侬智高放火烧城，化装逃往大理。

狄青率兵巧取天险昆仑关，大败侬智高于归仁铺，一举平定了广南战乱，消息传回京师，宋仁宗大喜过望，对当朝宰相庞籍说，赶快商议封赏，慢了就不足以激励了。

狄青还师回朝之时，宋仁宗亲自相迎，赏赐狄青一座豪宅，又拜狄青为枢密使，他由此成为北宋王朝的最高军事长官。

这在宋朝更是破例，枢密使一向只由文官担任，武将当政有违祖宗惯例。

防范武将夺权是宋朝的基本国策，宋仁宗的这一决定引起了朝中大臣的极大争议，也为日后狄青的失势埋下祸根。

侬智高平定之后，宋廷对有功之臣一一封赏，杨文广又回到了他曾经战斗过的西部，知渭州之德顺军，也就是渭州陇竿城。

德顺军设于庆历三年（1043年），这里土地肥沃，人口众多，且地理位置非常重要，西夏早有窥探之心。

杨文广赴任不久，广西报告侬智高与大理国王又准备发兵。

1054年6月，仁宗因为杨文广熟知广西情势，具备领兵才干，超升四级，提拔为供备库使，出任广西钤辖，兼判宜、邕两州，以防侬智高。