吴军从三月开始合围合肥，进而展开水攻。吕蒙以三面筑堤围困，看似无懈可击，可纵观整个淮南战局，形势还是极为微妙：此时合肥城内虽有诸葛亮坐镇，但守军仅有五千人，绝非是汉军的真正主力。究其根本，是因其余汉军分为两部，一部由杜畿带领，驻扎在六安左近，一部由马岱率领，留守大本营寿春。两者一西一北，如同窥山之虎，令吴军如芒在背。
在吴军合围筑堰之时，诸葛亮便与两部传书布置，以为吴军以倾力包围合围，其势虽大，其围虽严，但想要破城，却非要数月不可。此时吴军坐守长围，已如死物，汉军大可批亢捣虚，纵兵于历阳、龙舒等地。一旦能迫吴人分兵回救，汉军无论是径直回军解围，还是在半路设伏打援，都能够极大缓解合肥之围的困局。
到四月，合肥周遭堤坝筑成，吴军水师大量进入堰湖内，以巨舰临城，试图与合肥汉军对射。然而等他们靠近时，发现汉军的应对不合常规。吴人在楼船上飞箭如蝗，而守城汉军躲在城牒之后，竟丝毫不予回击，好像是纵容吴人楼船接近一般。吴人前锋不敢自作主张，立刻将此事回报主帅吕蒙，吕蒙也大感奇怪，但既能安全近城，就断无不用兵尝试的道理，稍作犹豫后，吕蒙就令麾下士卒靠墙进攻。
这次攻城，吕蒙动用了四艘楼船，它们并立而行，体型庞大，近看好似传说中的鲲鹏一般。而楼船内部载有六千吴军，是名副其实的江上要塞。吕蒙令他们先攻合肥城南面，一旦取得突破，后方会有五艘楼船前来接应，一鼓作气夺下合肥城池。
此时是东南风，吴人的楼船顺风而行，速度极快，片刻间就已经靠近到汉军箭程之内，但正如此前看到的情形一致，汉军并没有主动回击，而是继续保持静默，等待楼船向前。此时的吴人也分外小心，他们把船速慢下来，在船舷上准备进攻的木梯和长槊，而后屏住呼吸，等到楼船与城墙相撞的时刻。
「咔」的一声后，楼船的高台顿时响起轰雷般的鼓声，那是进攻的号令，士卒们也随之发出呐喊，像蚂蚁般涌向船舷与城墙的相接处。由于楼船的甲板本就极高，而进入夏季以来，水位也大幅上涨，致使吴人的船舷与合肥城墙间几乎齐平，甚至有些还高上数尺。吴人很轻易地就将木梯架好，随即攀爬着向城墙上攻去。在他们的预想中，接下来他们需要占住一段城墙，等到援军到来即可获胜。
可也就在此时，接战的吴人们才赫然发现，在合肥城头飘扬的旗帜之间，立有一些无旗的长杆，光秃秃极为刺眼。而值得注意的是，这些长杆并不是直立的，而是微微倾斜，端头似乎裹有什么事物，事物之下，好像有绳索和什么机构相连，看起来仿佛一个不伦不类的拍子。
还未等他们进一步靠近观察，一阵投石划破空气的嗖嗖声打破了战鼓的喧嚣，眨眼之间，这些类拍的长杆如闪电般轰然落下，径直打入到吴人的船舷之上。而出乎吴人意料的是，己方的甲板仿佛纸糊的一般，这些拍竿落下，顶头的事物脱坠而出，几乎瞬间将杉木砸碎砸裂，进而损伤到船身下部的榆木。吴人们这才意识到，原来这些长杆顶头安装的，是特制的石头！这些号称江上无敌的巨兽，仅仅在一刻钟的时间里，就因石击变得千疮百孔。还有一些没有命中楼船的拍竿，猛地砸在水面上，溅起了大量的巨浪。
吴人们根本没有料想过，自己竟会遇到这样可怖的武器：仅仅是一轮拍击下，四艘楼船的侧舷都被撕裂出无法忽视的创口，大量湖水涌入船内，各种碎片横陈江面漂浮，还有一些难以言状的血色肉块。而他们甚至来不及去关注到底有多少死伤，只有一个想法：立刻调头撤走！如果继续停留在城头，江水倒灌，会导致楼船彻底沉没，吴人们完全无法在这种情况下登上城头。
短暂的鼓声就此消匿
，取而代之的，是意味着撤军的鸣金声。然而楼船如此笨重，平常就极难调头，而现在出现了大量裂口，又怎能安然撤军呢？吴军放弃攻城，忙着指挥水手们转身的时候，城头上的汉军也通过转盘和绳索，把落下的拍竿渐渐收起。吴人们眼睁睁地看着他们将拍竿拉上高处，心中祈祷自己能快些离开，可惜已全无可能。