章惇因积极参与熙宁变法，屡次被贬，很快又被召回京任门下侍郎，为副相之首，徐公也进京被封为少府，跟随章惇推行王安石新法。
宋神宗赵顼三十多岁就忧郁而逝，年仅十岁的宋哲宗赵煦即位，高太后垂帘听政。以高太后为首的旧党派控制了朝廷，废除了王安石的新法，并且开展了一系列打压新党的行动。章惇被贬，元祐党争时被放逐到岭南。徐公作为章惇的亲信，新法的推行者，也一并被放逐到岭南。
徐公的妻子不离不弃，他们膝下只有一女叫豆蔻，年仅十三岁，徐公托友人将女儿送至陈州的长姐家。徐公夫妇随章惇及一众推行新法的官员被放逐到了岭南。
高太后对新党的打击和倾轧始终如一，从未放松过。岭南气候恶劣，徐公的妻子不久便病死他乡。
高太后垂帘听政九年后逝去，宋哲宗赵煦亲政，章惇被启用为相，凡是元祐党争所改，全都恢复，引用蔡卞等人，全部居重要职位、担任言官，继续推行王安石新法。
徐公也被召回，做了相府的总管。
宋哲宗后，宋徽宗赵佶继承皇位，朝中新旧两派势力斗争如火如荼，由于朝臣多人弹劾章惇，宋徽宗多次将其贬谪，徐公的命运也跟着起伏，多年的动荡不安，徐公未再娶妻。
章惇年迈，五次上表，请求免去政事：“惇遇先皇求变图强之际，推行变法，未尝懈怠。今先皇已逝，臣痛悲无以自拔，自感老之将至，无从专精国事。恳请允准臣辞官退隐。”圣诏不允，后被贬死湖州。
此时徐公也年过花甲，上奏请求告老还乡，回家乡陈州治学山林。
朝中的达官贵人风行书法绘画，书画不单是一种技能，还是朝臣之间的交际应酬之必需手段。大宋朝奉行文人治国，正所谓“笔墨写春秋，挥毫斥方遒”。但凡朝中官员，诗词歌赋，吟诗作画样样精通。
徐公在朝中也算得上书法大家，他的字似行云流水间，泼墨如洒酒。徐公喜爱收藏，除了本朝大家的书画作品外，还藏有几幅前代画家的作品。其中有吴道子的《天王送子图》，东晋顾恺之的《仕女图》，他还有一帧当今皇上的花鸟画，画幅上有宋徽宗赵佶的瘦金体题词。
徐公的女儿豆蔻十三岁时寄养在姑母于家，姑父做木材生意，早年得益于徐公的资助，家里拥有一个大型的木材场，于家虽不算大富，家境还比较殷实。姑母拿豆蔻当女儿看待，百般疼爱，只怕她受了委屈对不起自己兄弟。姑母和姑父膝下只有一子，名叫于天佑，比豆蔻大四岁，是豆蔻的表哥。于天佑从小娇生惯养，生性顽劣不羁，但他很喜爱豆蔻这个表妹，对她呵护有加。
豆蔻从小生长在京城，受过良好的教育，琴棋书画样样精通，行为举止温柔端庄，妥妥的大家闺秀。
转眼三年过去了，豆蔻已出落得花容月貌，楚楚动人。陈州城内的名门大户纷纷上门提亲，哪知表哥于天佑早就对豆蔻动了心思。见有人上门提亲，于天佑恼羞成怒，向父母摊牌，讲明自己要娶豆蔻为妻，万不可把她许配给旁人。
徐氏觉得自己的儿子于天佑惰性十足，顽劣不羁，又不爱读书上进，十足的刁徒泼皮，配不上豆蔻，不能让他糟蹋了豆蔻一生，拒绝了于天佑的要求。徐氏说道：“豆蔻是你妹子，哪有兄妹成婚的道理？”
“她明明是我表妹，姑表兄妹成亲的多了，为何我不能娶表妹为妻？”