王府围墙高大坚固，两千士兵部署在围墙上和房顶上，用弓箭死守，而攻打王府的士兵有六千人，都是投降尉迟虎的三名中郎将部下。
这时，尉迟虎率领五千士兵赶到，尉迟青连忙上前来参见大哥，尉迟虎看了一眼王府问道：“有劝降了吗？”
“我给曾靖海喊过话了，但没有回应。”
“他人在哪里？我来劝他。”
“就在正门旁边，大哥要当心对方冷箭。”
尉迟虎来到大门前，亲兵们高举盾牌，将他遮挡得严严实实。
“曾老弟可在？”尉迟虎高声喊道。
半响，有人回答道：“尉迟虎，召王待你不薄，你却要夺他的根基，你不羞愧吗？”
声音正是中郎将曾靖海，尉迟虎道：“曾将军误会了，我尉迟家族何德何能，敢霸占岭南？我们是支持四郎李鄜上位，李瑜昏庸，沉溺于音乐酒色，不堪大用，你何必效忠这种人。”
“李鄜更昏庸无道！”
“曾老弟，我其实是支持长子李鸯，但不知李鸯会不会被扣在长安，所以暂时支持李鄜，如果李鸯回来，我自当说服李鄜让位！”
“你以为我会相信你吗？”
尉迟虎摇摇头，“这不是信不信的问题，而是你的选择，要么我一把火烧了王宫，你们和王宫玉石俱焚，要么你和我一起支持李鸯。”
曾靖海半晌道：“你此言当真？”
“我尉迟虎向上苍保证，绝无戏言！”
“那好，我曾靖海愿听从尉迟将军的号令，你不得让我手下放下兵器，也不能解除我的职务。”
“大哥，他们必须放下兵器投降！”尉迟青急道。
尉迟虎摆摆手，“现在要尽快平息事端，稳住局势，等我们站稳脚跟后，再慢慢收拾他。”
他随即高声道：“曾将军既然是水军，那么可去冈州驻扎在新会县。”
“你们后退三百步，开启西城门，我率军撤离！”
曾靖海其实并不相信尉迟虎，但他已经没有选择了，如果对方一把火真烧了王宫，不仅他们都得丧命于火海，大公子的妻儿都保不住，自己没法向老王爷交代了。
撤离南海县至少是目前最好的结局，他下令道：“全军准备撤离！”
尉迟虎下令军队暂时停止包围王宫，后撤三百步，又开启了西城门，曾靖海率领两千士兵迅速撤离了王宫，向西城门外奔去。