刘贤回到零陵，在太守府中住了两日，随后领兵继续南下，对外宣称与孙尚香踏青游乐。临行之时，恐自己不在荆南之时，诸葛亮会暗设诡计逃脱，于是用一辆遮挡严实的小车，将诸葛亮带在军中，随同南下。
来到灵渠，邢道荣接着，刘贤问道：“灵渠以南，情况如何？”
邢道荣道：“眼下正是汛期，灵渠水量颇大。但这终究只是一条水渠，最浅处仅有二尺，只能容小船通行，每船最多可载二十人，载粮十余石。末将接防之后，便即开始造船，今已制成小船五百艘，应该足够少主使用了。”
刘贤点了点头，道：“辛苦你了，这条灵渠是我大军进出交州的生命线，也只有交给你驻守，我才能放心。我过去之后，你要小心守卫，切不可疏忽大意。”
邢道荣闻言，深感责任重大，当下拱手拜道：“少主放心，有我驻守在此，万无一失。”
刘贤这才率领众军，登上小船，进入灵渠，往南而去。
孙尚香与刘贤同船而行，看着窄窄的水道，和两岸如画的风景，顿时笑道：“夫君此次南下，怕不只是为了带我游玩吧？”
刘贤道：“夫人真是聪明！我此次难行，实为攻打交州。让夫人同行，实为掩人耳目，还请夫人千万不要怪罪才是！”
孙尚香笑道：“夫君欲行大事，我又岂会怪罪？我麾下三百女婢，人人皆会击剑操弓，或许也可以助夫君一臂之力。”
刘贤闻言，取笑道：“夫人的剑术我是见识过了，当真不凡！想必麾下女婢剑术也都精妙的很吧，就不知是不是穿的稳脚下的鹿皮靴！”
孙尚香闻言大发娇嗔，道：“我从小练剑，却并无真正厮杀过。平素与江东众将交手，他们也都束手束脚，被我打得大败。如今想来，却都只是逗着我玩呢。不过你也休要小瞧我，我剑术虽然不精，但弓术却是不假的，百步之内，足可正中靶心，你未必便能比得上我。”
刘贤闻言大笑，道：“其实夫人从小习武，要论武艺功底，是远远超过我的，只是没有对敌经验而已。这才导致临敌之时，错漏百出。只要寻得名师，花上三五个月时间梳理一下剑路，增加些对敌经验，很快便能真正成为一个合格的女将军了。”
孙尚香闻言，自得地道：“那是自然！我学的乃是孙家家传武艺，我父兄仗此创立江东基业，自然是不凡，只是我运用不当而已。你等着，待我好好练习一阵，再与你比武，到时你可就不一定是我的对手了。”
刘贤大笑道：“我的剑术也是名师传授，岂能让你轻易超过？”
孙尚香道：“要不我们打个赌，如何？若是我的剑术胜过了你，我就要做女将军，真正上阵杀敌。”
刘贤闻言一惊，道：“这怎么可以？行军作战可不是儿戏！”
孙尚香道：“你这是小瞧我了？你只看过我的剑术，还没看过我的枪法。我的马战之术，也是从小练习的。”
刘贤见孙尚香一脸渴望，不由大感头痛，只得道：“日后有机会再说吧！”
孙尚香见刘贤如此敷衍，大为不满，转头生起了闷气，直到当夜出了灵渠，在灵渠以南扎营休息的时候，孙尚香仍旧不理刘贤。刘贤只得哄道：“罢了，你若真想做女将军，也行。不过先只能做我的亲卫将，待日后你通过考核，我便准你上阵。”
孙尚香道：“什么考核？你先说说，我也好预作准备。”
刘贤道：“考核共有三重。凡为将者，必精通兵法，这第一重考核便是考你兵法战策。为将者，也当精通武艺，这第二重便是考核你的剑术和骑战之术。第三重嘛，就是考你的箭术了。想来夫人你出生将门世家，这三样考核应该都难不倒你吧。”
孙尚香闻言，轻哼了一声，傲然道：“当然！你等着，不出三五个月，我定能通过考核。”
刘贤闻言大笑，心下不无得意地想到：“就算你熟读兵书，武艺超群，这一关、第二关难不倒你，你也休养通过第三关。我就不信你射术在高，还能高得过黄忠去？”
于是刘贤安抚了孙尚香，当夜得以愉快地上床休息。
次日，大军起程，经过艰难跋涉，终于到达始安县（今桂林地区）。赖恭、裴潜、高翔闻听刘贤到来，急忙出城迎接。刘贤就在城外立起营寨，安顿大军，随后设宴请赖恭、裴潜、高翔入席。
酒过三巡，刘贤见赖恭、裴潜、高翔都有些忐忑，当下道：“我大军至此，你等何故不安？”
赖恭与刘度乃是旧识，当下仗着年长，对刘贤道：“贤侄身为荆南都督，如今却领兵来到始安，莫非是要攻打交州？”