他们也主动投靠了李慢侯，而且人数并不只有一千人，而是高达一万。因为耶律余睹案发后的五六年中，他们纵横燕云，吸收了大量辽东流民，许多以前就是怨军的旧部，被解散为民后，在陌生的地方生活的并不痛快，不但被本地人排挤，还要被女真人征发，这些怨军一招呼，勾起他们心中对女真人的怨恨和亡国之痛，立刻就拿起武器，跟着反了。
一万怨军，拖家带口，男女老幼加起来，高达三万余人。老人很少，只要几百个，而且大多还有劳动能力，不然早死了。因此这些人不算负担，李慢侯不接纳他们，他们就是一直可以自行发展的大军，所以李慢侯也不敢不接纳他们。
怨军溯源，当然跟女真人有关，但最直接的关系，是跟渤海人高永昌有关。阿骨打起兵之后，主要在混同江流域，哪里是契丹人的薄弱区，控制力很弱。契丹人征发了大量辽东力量去镇压，导致辽东空虚，结果这里的渤海人高永昌起兵，建立大渤海国。内乱，导致了大量的流民，这些流民大量涌入燕云。高永昌的起兵，导致契丹人镇压女真起义的力量更加薄弱，因为此时需要从更远的地方抽调资源。
结果契丹人选择先镇压高永昌，高永昌却向女真人求援，女真人半路杀出，击败了契丹人，之后又击败了高永昌，控制了东北地区。
辽国平定高永昌叛乱失败后，将怨气冲向半路杀出的女真人身上，天祚皇帝让燕王耶律淳招募从辽东跑回的主要为汉人的难民，组建怨军，希望利用他们的怨气，收复辽东故土。
这些辽东汉人，一部分是契丹人占领燕云后迁过去的，一部分是时代居住在辽东的，由于少数民族的文化弱势，导致东北民族换了许多，唯有汉人是从春秋战国一直传续下来的，所以这些辽东汉人，早就将辽东当做家乡。将高永昌作乱、女真人反叛，视为最大的仇怨。
迁入内地，寄人篱下，辽东故土，沦入敌手，因此流亡辽东人加入怨军十分踊跃。耶律淳很快就组建了八个营，分为前宜营、后宜营、前锦营、后锦营、乾营、显营、乾显大营、岩州营，共28000人，每营各设一个统帅，耶律淳后来当了皇帝，统帅就成了郭药师。
郭药师死后，怨军就消失了。可是怨军的编制可以消失，怨军的人却很难全死光，其中不是被女真人屠戮了，就是逃跑了，落草为寇，啸聚山林。对于这种小股的匪寇，其实女真人根本镇压不过来，太行山就是各种义军的大本营。怨军也以各种义军的名义，活动在各个山区。
收编这些怨军也有好处，那就是他们都会骑马，燕云汉人骑马都很多，辽东汉人更多，而且经过各种惨烈的淘汰，骑马算是一种重要的逃生技能，不会骑马的大多都死了。李慢侯看到，连女人都骑着马，怀里抱着孩子，仿佛看到了一支游牧民族。显然，他们的生活习惯胡化了，不知道是原本在辽东就已经胡化，还是在战火洗礼下迫不得已胡化的。
收编他们之后，李慢侯跟他们的几个首领商量，他们所求不多，给他们一块允许他们生活的土地，以及让他们活下去的粮食。燕云生产破坏太大，靠劫掠已经无法维持生计，不靠劫掠，他们又没有安全的生产环境，在山区开辟的小块土地，显然不足以养活他们，更何况他们还有大量牲口。