二人领命前去，刘贤这才转而领兵，欲要顺西江而下，直取南~海。忽闻探子来报：“南海太守士武，趁着我军攻打吴巨之机，尽起麾下六千兵马溯江而上。目前已拿下高要县城。”
刘贤闻言，与庞统对视一眼，笑道：“士武果然中计。”
当下刘贤与庞统一道，率领黄忠、魏延、郝昭、赖恭、行军主薄赵累、参军刘敏，以及降将吴巨、刘彦等人，领兵万余顺江而下，来到高要县城之外。
黄忠、魏延便欲攻城，刘贤止住道：“不须攻城，只要在等几日，士武自然不战而亡。”
黄忠、魏延不信，却又不敢反驳刘贤，只得按耐性子等候。
两军在高要城相持了七八日，士武果然弃城向南逃走，刘贤大喜，当即命黄忠、魏延分路追杀。二将领兵穷追不舍，直到进入合浦郡境内，遇到合浦太守士壹领兵阻击，黄忠、魏延这才收了兵马，与士壹各占对山险要相持。
而士武率领的六千兵马，此时只剩下二千余人，与士壹合兵一处之后，也只得七千人马，倒是和黄忠、魏延的兵力相等。
此时的刘贤，早已取了高要，随后顺江而下，直达番禺。
番禺城中守军望见刘贤到来，当即大开城门，从城中走出两员将领，却是吴砀、曾夏二人。
原来从北方过五岭而至岭南，共有五条道路，都十分艰险，当年秦始皇南征百越，汉武帝攻取南越，都是五路齐发。其一是从豫章翻越群山，经厉门塞南下，至南海郡的龙川。这条路十分艰险，并不适合大军通行，近百年来更是基本废弃，鸟兽难通。其余四条则都要经过荆州，经过多年兴废，目前还在使用的仅有两条。其一是刘贤走的灵渠古道，最为便捷。其二是从桂阳郡南下，入连江，经过桂阳郡境内的煌溪关、阳山关，进入交州境内的横浦关，一共三道关卡，然后才能进入珠江水系的北江，进而直抵南海。
因三关道路艰险，河滩纵横，水文条件十分复杂，因此也不适合进兵。
在讨论进兵方略的时候，原本刘贤、庞统都属意灵渠，不愿从横浦关进兵。然而樊友却来告知，桂阳郡樊家与交州有生意往来，樊家每年都会派出商队过横浦关南下至交州购买珍珠、玳瑁、珊瑚、犀角、象牙等珍贵之物，然后转卖至荆襄之地，获利极为丰厚。又有吴砀、曾夏二人本是南海郡人，当年进入荆州之时，也曾走过横浦关。因此刘贤与庞统商议之后，这才派吴砀、曾夏领兵进入桂阳，在樊家商队的带领下，一路南下偷袭横浦关，继而顺北江而下，直取番禺。
刘贤又大张旗鼓攻打吴巨，逼得吴巨将驻守边境的虞褒、刘彦调回，士武见有机可乘，当即趁虚起兵来夺苍梧土地，致使番禺空虚，被吴砀、曾夏一举拿下。
士武后路被断，只得南下逃亡合浦，南海一郡，至此落入刘贤手中。
当日刘贤进城，重赏吴砀、曾夏，命二人分兵去取各县。不数日，各县相继平定。于是刘贤封赵累为南海太守，留吴砀协助赵累。
为了防备东吴从豫章和会稽翻山越岭而来争夺交州，刘贤又任命曾夏为龙川都尉，主管龙川、揭阳两县，堵塞厉门塞及沿途隘口，防备豫章之兵和会稽之兵。
当然，这两条路都十分艰险，江东大军也基本不可能从这两个方向攻击而来。但刘贤却觉得做些准备，有备无患才能万无一失。
南海郡至此平定。刘贤闻知黄忠、魏延攻打合浦，被士壹、士武堵截在群山之中，难以前进，当下便与庞统一道，领着校尉郝昭、参军刘敏以及赖恭、吴巨、刘彦等人前往增援黄忠、魏延。