楼船将军杨仆一军首先逾岭破横浦关而人，顺凌水人侦水，到韶关之后再转人北江，并攻陷寻峡，继而又攻破番禺城北30里的石门，缴获了南越大批军粮船只，使汉军的供给得到充分的补充。

石门攻破后，杨仆不敢贸然对番禺城发动进攻，留下万名将士扼守，等待伏波将军路博德军的到来，共同进击。

关于杨仆其人，司马迁在《史记》中将其列入《酷吏传》的代表人物，从这篇传记和其他史料中，可知其人的大体经历。

杨仆是河南宜阳人，由千夫出身为吏，千夫是奖励战士武功的赏官，所谓武功爵之一。

汉制爵分二十级，武功爵则分为二十一级，千夫是武功爵的第七级。

他在河南郡出任吏职，担任相当于五大夫的职位。

由于他出色的表现，经河南守的推荐，升任御史。

汉初的御史，除了御史大夫位列三公，掌副垂相以外，御史中延、侍御史以及临时派遣外勤任务的绣衣御史等等，内举刻按章，外督各部刺史，同时负责治大狱，讨奸猾。

他担任了御史职务，奉派督剿山东盗贼，果敢善战，成绩昭著，再升迁主爵都尉。

他的才能博得武帝的赏识，南越吕嘉作乱，才派他为楼船将军，率师征伐。

这五路大军，当以路博德和杨仆这两路为主力，其余三路只是助攻的部队，而路博德一路战斗力最强，因为他原是屯兵南越边境，待命进攻的，在南越人的心目里，他的声望也高出数人之上。

杨仆是临时拜命，由长安绕到豫章，然后率师出发，形势上当然比较落后，可是经过了几个月的部署整理，只有杨仆这一路先期攻入南越。

为了造成出奇制胜的形势，楼船将军杨仆之军由滔滔汹涌的北江水上直捣番禺，立即占据番禺城之东南;伏波将军路博德率步马将士在后，到达番禺，占领了城之西北面，猛攻番禺城。

番禺城依山面水而筑，历经秦尉任嚣、南越王赵佗和吕嘉的多次扩建加固，池深城高，汉军虽攻城多日，无半点进展。

后来，有谋士献策，需用火攻，方可破城。

杨仆从其计，遂号令将士聚集柴木，纵火烧城，大败番禺守军。

因番禺守军素闻伏波将军大名，又不知汉军杀来多少人马，就纷纷从城西北而出，这些南越兵卒几乎全部为路博德军所俘获。

路博德见敌军来降，立即遣使者好言招抚，令出逃士卒复入城内进行劝降。

至此，守军人心涣散，遂全部投降，番禺只剩一座空城。

此时已是元鼎六年十月。

南越王赵建德和吕嘉见汉兵攻之甚急，无力再固守下去，遂率其残部数百人逃出番禺，乘船东去，抵达福建漳浦县之太武山上。

在山上仓促深沟高垒，筑城以自守，并与跟随的将士集体盟誓:宁为玉碎，不为瓦全，誓与此城共存亡。