还有一些乱兵，比如刘光世手下一个叫靳赛的军官，当日赵构在扬州，听说金兵攻占了泗州，让刘光世派兵御敌，结果这些兵都没到地方，就自行溃散了。靳赛就是其中一个带兵溃散的军官，聚拢了一些溃兵，甚至打算攻占扬州，被李慢侯派兵击退后，开始在通州、泰州一带劫掠，正在准备攻占通州的时候，收到了刘光世平定苗刘之乱，升官进爵的消息，刘光世派人来招他，他立刻放弃攻打通州的计划，重新去投奔刘光世。
像靳赛这种，对扬州图谋的流寇数不胜数。就像当初金兵对扬州虎视眈眈一样，周边皆残破，唯有扬州富庶，如一盏明灯一样，在淮南的残酷炼狱中，吸引着一个又一个好汉。而且这里还有一个公主，能抢了做压寨夫人，这辈子都值了。
虽然来一个死一个，来一双死一双，可小股土匪依然前仆后继的前来劫掠，这倒给扬州新军提供了一个练兵的机会。整整一个夏天，李慢侯命李忠带领一万浙东新兵，四处剿匪。这一万多人，既经过了严格训练，又有了实战经验，很快就成长起来。
只是他们的实战经验，没什么含金量，对付流寇容易，对付金兵很难。现在大部分人还停留在牵马步兵的水平，连骑马行军都不行，但一人配一匹川马，一头骡子，足以追的土匪上天无路入地无门，纷纷投降。
对于投降的土匪，李慢侯已经没有以前那么耐心了。将其中的大小头领全部斩杀，普通喽啰，会骑马的，充探马军，有家室的，安排务农，无家室的，雇佣做工，一时间，剿匪竟成了扬州地区迁入人口的第三种形式，先后安置了十万流寇在扬州各地。
同时这些小股流寇，无头苍蝇一样从各个方向渗透扬州地区，也让李慢侯大大提升了应对这种机动性入侵的经验，原本用来防备金兵的一些设施，成了防御流寇的工具，西边的白塔镇、东边的宜陵镇，北边的铜城镇都驻守了轻骑，作为预警。并且日常撒开探马，已经建立了可以不让任何流寇进入扬州境内搞破坏的预警机制。这种机制，肯定也能用来预警金兵南下。
做这些事情，占用了李慢侯很大的精力，让他没办法亲临第一线直接指挥剿匪，只能坐镇扬州，指挥四面八方的战斗。
一直到八月，已经没有小股流寇敢贸然闯入扬州范围，大股流寇往往很精明，否则他们的首领也不可能发展壮大，他们很少直接跟扬州冲突，知道扬州不好惹，有一支可以跟金兵死战的强军。只有那些从遥远地方逃来，对本地情况一无所知的小股流寇，才会不顾一切的冲向任何富庶地区。
这些巨寇不来惹李慢侯，李慢侯却对他们不放心，因为金兵南下的消息已经再次传来。
六月，金军再次金军河北，开始攻打已经不知道被他们攻下过几次的河北、山东州县，磁州被围攻之下，城里粮价暴涨，闹起饥荒。军卒杨再兴等人作乱，杀了守臣赵子节，推将官苏珪为首领。苏珪要他们答应三件事，第一件说要带军民突围去东京，众人都说不行，第二件说要大家死战，众人说不行，第三件说开门投降，众人沉默应对。苏珪于是带众人投降。金兵解围，送米面入城，粮价跌了数十倍。
杨再兴竟然会投降？让李慢侯非常感慨。最上层是赵构这样没有威望的皇帝，最下层连杨再兴这样的猛人都失去了勇气，持续败坏的局面，并没有因为他的到来，而稍有改善。
六七月间，一直传来金军在河北、山东攻城略地的消息。周边又都是一些靠不住的巨寇盘踞，李慢侯觉得这些都是不安定因素。这些人因为扬州军队的积极反击不敢入境，一旦金兵南下，扬州军队被牵制在重要城池，他们一定会肆无忌惮的进入扬州劫掠。