诸葛亮受张武委托建设建业城以作为防御江北曹军的军事重镇，和攻取淮南地区的桥头堡，建成之后诸葛亮以车骑将军府左军师将军的身份统兵驻屯，有大将赵云、丁奉、吕蒙等辅佐。
原本建业城有一万步兵和一万水兵驻扎，后来又招募了一万丹阳兵。
建安十五年深秋，甘宁率一万水军和蒋钦、朱桓二将自江陵出发，中途汇合了驻守柴桑的文聘和两万水军，大军共计三万来到建业城，要对江北采取军事行动以呼应葭萌关战场。
曹操当初趁张武灭孙权之时，出兵抢占了原江东与淮南之间的缓冲地带，之后设立了庐江郡和九江郡。庐江郡的郡治在皖城，郡守为朱光，原庐江郡太守雷绪调任九江太守，治所为寿春。
但是曹操在淮南的主要防守重镇还是合肥，大将张辽、李典和乐进也率两万大军驻扎在合肥。
诸葛亮召集众人开会，讨论作战计划。
吕蒙献计道：“现今曹操令庐江太守朱光屯兵于皖城，开垦稻田，纳谷于合肥，以充军实。今可先攻取皖城，再攻打合肥。”
诸葛亮也赞同先打皖城，然后再打合肥。
首先是因为皖城前不久还是江东的地盘，中间短暂的在张武手中倒了一把手，后来才被曹军占去。现在吕蒙、蒋钦等江东大将归降张武，对那里还是比较熟悉的，也有一定的群众基础。
其次，皖城离长江比较近，从长江走皖水可直达皖城之下，可以迅速出兵，然后在合肥的援兵到来之前尽力拿下皖城。
最后，据斥候打探，现在皖城也没有曹军大将，兵力也不多，诸葛亮能发挥兵力优势。
现在建业的一众文武官员中，甘宁的职位最高，但张武有明确的指示，诸葛亮有决策权和指挥权，而甘宁、丁奉、赵云等大将有统兵权。也就是说，诸葛亮能决定该不该打，什么时候打，怎么打，却不能越过甘宁、丁奉、赵云等大将去直接指挥军队，他只能指挥这些将领。
甘宁、赵云、丁奉等将领要服从诸葛亮的决策和指挥，他们再带着士兵去执行各项战略部署，让他们怎么打他们就得怎么打。但如果诸葛亮让他们造反，他们也肯定不会听，甘宁就能直接掌控着大军采取行动。
这就是张武能放心地将扬州的军务交给诸葛亮的原因，就算诸葛亮有什么异心，但统兵大将们不一定会跟随他。赵云不是个叛变的人，丁奉是张武的绝对心腹，而原江东诸将们也跟诸葛亮不是很亲近。
当然，张武也相信诸葛亮的为人，相信他也绝不是会背叛自己的人，但作为一个大势力的主公，不能把信任当制度，该采取的措施也必须有，这是对所有人都有好处的事。
原着中，刘备那么信任依赖诸葛亮，还先后用徐庶、庞统、法正来平衡诸葛亮的权力。后来徐庶进了曹营，庞统入蜀时被箭射死，法正在刘备进位汉中王的第二年就病死了，等刘备死后，就再也没有人能制衡诸葛亮了。刘备死的时候，指定了两个托孤大臣，一个人是诸葛亮，另一个是李严。刘备原本是想让诸葛亮治理政务，让李严在外统兵，互相制衡，但以诸葛亮为主。
结果李严最后被诸葛亮罢黜，废为平民，其实这也不全部是因为诸葛亮专权，有很大一部分原因是李严的野心越来越大了，为了提高自己的权力，竟然威胁诸葛亮，说司马懿用高官厚禄来招降他。
在场的将领们也都同意吕蒙的计划，于是诸葛亮采用吕蒙的建议，留丁奉率军一万守建业，甘宁率三万大军与吕蒙、文聘、蒋钦、朱桓等将去攻皖城，诸葛亮率赵云、潘璋、马忠与两万大军佯攻合肥，牵制张辽等人。
甘宁率大军渡江之后，径奔皖城而去，皖城的庐江太守朱光一面派人向合肥求救，一面固守城池，坚壁不出。
皖城内有一万守军，朱光知道甘宁的厉害，根本就没打算出城交战，在他想来，一万士兵坚守城池二十天应该没有问题。二十天后，合肥的张辽肯定就能率援军赶到，到时候里应外合，定能击退来犯之兵。
实际上朱光想的也没错，皖城背靠大别山，非常利于防守，甘宁为了争取时间，大军一到便开始攻城，但城墙上箭如雨下，士兵损失较大，带队攻城的朱桓不得不暂时退了回来。
按照这个情况来看，即使能拿下皖城，但甘宁手下这三万大军也得损失不少，还不知什么时候能拿下。
甘宁问道：“诸位可有什么好办法？”
文聘说道：“可使士兵筑起土城，以弓弩手与守城之兵对射，待压制住对方弓弩手后，我军便可攻城。”
蒋钦说道：“可竖云梯，造虹桥，下观城中而攻之。”
这时，吕蒙又说道：“你们说的这些方法都太费时间，如果合肥的援兵来了，就很难再拿下皖城了。即使合肥的张辽等人被诸葛军师拦住，但此时曹操率主力大军急攻葭萌关，主公正盼着咱们有所表现呢。现在我军方到，士气正锐，正可乘此锐气，奋力攻击，不如今日暂歇一晚，来日平明进兵，午时便可破城！”
不得不说吕蒙的确有领兵之才，有勇有谋，他的这一番话也得到了甘宁的认可，文聘驻守柴桑这么长时间了，一直也没机会打仗，这次出兵也想痛痛快快打一场。
于是，甘宁下令暂时收兵，然后杀猪宰羊，犒赏全军，又作了一番动员，发誓明天就要攻下皖城，荆州军士气震天。
第二天，荆州军五更饭毕，三万大军分成三路进攻，甘宁也亲自上阵，手执铁链挥挡箭矢。
朱光一看不对劲，急忙令士兵弓弩齐射，木头、石块一起往下扔。
这个时候也不能再管士兵损伤了，必须一鼓作气冲上去夺取城墙，否则这股气势就泄掉了，再想攻下城池就更困难了。
甘宁冒着箭矢、石块爬上攻城梯，爬到一半的时候，上面的守军忽然将一块大石头向他扔来。甘宁上下不得，将铁链一挥，缠在梯子上，身体悬挂绕着梯子转了一圈，躲过石块，然后迅速向上爬去。
城墙上的守军吓了一跳，还有这么猛的人啊！刚想再搬起石块往下砸，只见甘宁用铁链拨开一支射过来的箭支后，看看距离差不多了，一铁链甩过去，将城墙上的守军击杀，然后一跃而起跳上城墙。