樊胄识破了谭雄的缓兵之计，心中怒气勃发，果断放弃劝降，下令军队强攻四门。
但因为兵力分散，虽然城内的谭雄也有些疲于应付，攻城的效果并不好。
谭雄准备充分，樊胄军靠近城墙都不易，双方的交锋是用弓箭远程互射为主。
樊胄亲自在四门巡视，对手下将领的攻击非常不满。
但将领们各有各的理由，一致建议樊胄“围三缺一”，好让谭雄弃城逃跑。
如果真的是孤城难守，有了逃走的通路，谭雄当然会弃城而走。
事实上，谭雄城内粮草充足，外有潘濬的援军兼程赶来，肯定不会弃城逃走。
谭雄用缓兵之计，不但争取了时间，也简慢了樊胄的军心。
在城下驻扎十余天以后才开始攻城，，樊胄军早就没有了兵临城下的锐气，一个个都是无精打采，装模作样的进攻，对城门没有造成什么威胁。
反观谭雄的手下，大部分是城内世家的私兵，知道樊胄招降在先，然后出尔反尔，不给众人提供军粮，摆明了要从自己的嘴里抢食。
军卒们个个义愤填膺，为了自己和家族的利益，抵抗非常激烈。
为了加强攻击的效果，樊胄集中进攻北门，甚至动用了军法，杀掉了几个畏缩不前的军卒。
樊胄这招还是有效，他手下几个心腹将领非常卖力，但因为军士们不肯卖命，进攻没有大的起色，连续两日，伤亡不小，士卒连城墙都没有攀上去。
照这样打下去，不知道何时能够攻破城池。
而樊胄派出的探子来报，潘濬的援军已经过长沙，离武陵城最多只有三天的路程了。
潘濬在荆州名声很大，文武双全，虽然也只有五千军队，但樊胄有自知之明，可不认为自己五千乌合之众能够抗衡潘濬的精兵，不由萌生退意。
樊胄手下的谋士不少，有几个还是有真才实学的，也是真心为樊胄谋划。
他们看出事不可为，建议樊胄立即退军，以免背腹受敌。
并建议他领军退往零陵，与习珍合兵一处，才有希望击败潘濬。
在这个关键时刻，马允和几个与谭雄暗通款曲的人，看到了立功的机会，自然不愿意让樊胄扬长而出，想要把樊胄拖在城下，又跳出来献计道：
“樊将军，谭雄如此愚弄我等，实在咽不下这口气！潘濬的军队离此还有三天的路程，我们还有攻破城池的机会，所谓重赏之下必有勇夫，不如将军重赏士卒，再猛攻城池一天，如果能够打破城池，到时侯据城而守，自然不怕潘濬到来，如果打不下城池，还有两天的时间，也可从容退走。”
樊胄知道，与习家兄弟合兵一处是最稳妥的办法。
但因为习家兄弟一向看不起樊胄，这次功败垂成，率军前去投奔，樊胄害怕受到嘲笑。
虽然习珍不会拒绝樊胄投效，但乘机剥夺自己的兵权是肯定的。
刘备东征在即，樊胄如果拿不出像样的功劳，这到手的武陵太守也会泡汤。
因此，樊胄犹豫不决，不想把家族耗费钱粮、自己辛苦招来的军卒，拱手让给习珍去建功立业。
听马允等人说得有理，不由心动，就准备组织敢死队攻城。
樊胄下令盘点了一下军资，看到盘点的结果，他的脸色变得有点难看了。