后汉中平二年，二月，中常侍张让、赵忠说灵帝敛天下田，畮十钱，以修宫室，帝许之，乃加赋。诏至河内，太祖曰：“十月方免，二月即加，此乱命也，使天下乱复生也！”
同年冬，逢师故太尉刘宽薨，太祖以遗言辞河内守理丧，入洛。及面帝，尽言算赋事。不听。出，谓左右曰：“今日方知，上甚聪明，尽知天下虚实，但贪鄙无度，明知而不为，实无救药矣。”复曰：“天下汹汹而无能为也，今日知何谓忧心如醉！”太祖既弃职而走，遂遗卫将军印绶于洛。灵帝从议，遣使追而与之。凡三次，乃受。太祖之心，自此兴矣。
于回辽西之路，太祖居广阳，稍倾，冀州刺史王芬以许攸为使，言废立之事，太祖怒而斥之。及攸走，太祖夜临星河而叹，左右或知其意，俱劝：“天子昏乱，遂令君侯不容于朝。今天下已叛，而兵不足自守，幽州乡里被君恩德，愿必从之。当安居广阳，率厉义徒，见有道而行之，以济天下。”太祖大叹：“天子固昏，然关西之乱，傅南容何辜？王芬之悖，冀州百官何苦？兼两地黔首，固多牵累，我何忍害之，夫大丈夫生于世，当有所为。”左右遂止。
将归，路见流民纷落，甚不忍，遂止行，引众安于昌平道口，亲耕枣栗于燕山以哺民，兼阻绝胡路。凡数年，往来投者百万计。或曰：“燕武之德，自此始也。”
太祖屯于昌平，自挖沟渠于西，复使王修执刑于南，常林分粮于北。陶谦为幽州刺史，驻广阳蓟县，闻太祖屯于近处，乃素衣斗笠行驴车出蓟，其自南往北，初见修，再见林。及营中吕范闻之，大礼往迎，言太祖在西，固请。谦不语，自转车往南，归蓟县。左右疑而问之，谦乃叹曰：“王叔治宽严有度，常伯槐一丝不苟，吕子衡彬彬有礼，此三者，皆人杰也，何须复见其主，广阳事，当归公孙为之。”
中平年，凉州复叛，贼势大，进长安，太祖同门傅燮战死。
中平六年，冬，大将军何进以信与太祖，言失兵权，或碍诛宦事，太祖闻之，自引私兵轻骑至河内，洛中北军、西园多太祖旧部，纷纷来谒。洛中宦官闻之，俱惊，乃语于灵帝，以诏付司隶校尉张温，使其拘太祖入洛。及至，太祖悬剑于辕门，以示本心，张温见而叹之，竟羞惭而走。
灵帝又诏太祖往凉州，以行其叛。太祖以天下任，遂受命行。诏书拜董卓前将军，复起皇甫嵩为左将军，各率二万人拒之，又以太祖持节督二将，各交本部骑兵兼五千众为太祖驱。即以吕布为前驱，破当面韩遂、马腾，继大破之，获王国、李相如、黄衍以下首万余，俘三万，遂、腾仅以身免。凉州遂平。
太祖既覆凉州叛军于渭水，拜冀州牧，授节杖，督幽冀武事。
中平末，辽西乌桓反，举兵数万破柳城，隔断幽州，兼奉渔阳豪族张举为天子，中枢以为堪忧，乃拜太祖持节督塞内诸郡。
三月，破管子城，斩张举。四月，太祖与乌桓战，渡大凌河，众七千余，忽有段部鲜卑遣使来报，以告乌桓单于丘力居引兵两万伏于小凌河东，星夜来攻。时众篝火啜热汤于野，咸失色惊立，汤流满地，唯太祖不动容，徐徐啜引，复举碗曰：“此碗可扣贼！”众迺安。乃夜雨发军，乌桓不备，大败之，得复柳城，斩贼酋丘力居、塌顿。
会灵帝崩，太子即位，何太后临朝。大将军何进与袁绍谋诛宦官，何太后不听。进乃召边军三路，募兵五路，又欲以太祖为后援，镇压局面，以胁何太后。书至辽西，太祖见而笑之曰：“阉竖之官，古今宜有，但世主不当假之权宠，使至于此。既治其罪，当诛元恶，一狱吏足矣，何必纷纷召外将乎？欲尽诛之，事必宣露，恐吾未至而见其败也。”
光熹元年五月，大将军何进谋诛宦事，不密，反为诛。洛中遂乱，张让、赵忠等亦在乱中伏诛。袁绍乃私诏董卓入洛。卓既入洛中，竟行废立事，又使李儒鸩帝。