杜延年心中暗叹：“我忘不了大将军之恩。”
再推辞下去确实要惹怒天子了，对宗族不利，杜延年只好不情不愿地应征，接过太守冠带和印绶，只带了几个仆从，离开了南阳老家，前往西河郡赴任。
这一路可不容易，西河郡位于并州刺史部，横跨后世陕北、鄂尔多斯、晋西北，本是秦朝的“新秦中“一部分，楚汉时为冒顿单于所夺，置娄烦王，河南之战后，汉武帝元朔四年（公元前125年）分上郡北部和太原郡西部，置西河郡。
户十三万，口六十万，县三十六，比上不足比下有余，最关键的是，从长安沿着秦直道往北，经上郡过西河，可以通往朔方、五原、云中、定襄、雁门、太原诸郡，是当仁不让的“八郡通衢”。
杜延年在元霆年时，曾往返于西河朔方，迎刘询南下继位，对这里可不陌生，此地在后世干旱无比，到处都是光秃秃的黄土高塬，眼下却是沃野千里，谷稼殷积，牛马衔尾，群羊塞道，从各县的名字就能看出来富庶程度：“美稷、广田、谷罗、饶、富昌。”都是好地方呀。
元朔年后，西河郡成了汉朝历次对外用兵的后勤基地。
虽然皇帝定了”竟宁“之称，但杜延年却隐隐觉得，有任弘在朝，傅介子等用事，绝不会就此作罢，皇帝也态度暧昧，这项任命就透着不寻常。
但杜延年也无所谓了，他仕途之心已冷，最好的年华和才干，都献给了将军，曾登上二府御史大夫之位，如今再来做郡守，只感觉索然无味。
抵达西河后，杜延年既没有杀鸡儆猴立下马威，也没有勤勉劳碌希望做出政绩升迁入朝，只言：“孝武之世，征发烦数，今圣天子在位，当无为而治。”
然而就学起当年的曹参，自己整天痛饮美酒，跟他来的儿子和慕名来投的故吏见杜延年不理政事，想有言相劝，却被杜延年邀约一起痛饮。
西河郡的这般光景，自然被并州刺史报了回去，刘询不太高兴，觉得杜延年这是在蔑视天子，治郡不进，遂以玺书斥责。
不过在玺书抵达前，杜延年就迎来了一位访客，却是以右将军身份，带着西园八校中四校以及四万戍卒，前往朔方郡戍守练兵的赵充国。
“幼公莫非是以二府之职复徙为郡守，而对天子不满？”赵充国有些担心杜延年。
杜延年道：“仆只想在家著书立说，清净了事，就算陛下请我去代替丙吉做丞相都不愿，又岂会在乎此事？”
共事多年，赵充国太了解他了：“幼公看似最为淡薄，实则最重故情。”
“我知道幼公是忘不了大将军，只是，难道你还要一臣不侍二主么？”
杜延年缄默不言，良久道：“只是觉得对不住大将军，无颜面再出仕……”
“大将军临终前分明已安排好了一切，我是未能好好引导霍禹、山、云三人，而终究导致大祸，延年分明知晓后果，却弃之而退，心中愧然。”
赵充国笑道：“三人危害社稷，公然谋逆，罪有余辜，幼公已经尽力，你都如此，那老夫与丙吉、傅介子等皆是大将军提携，出事时站在天子一边，岂不是更加羞愧？”
他严肃了下来：“吾等忠的是大汉社稷，忠的是为大汉尽职的霍大将军，而非霍氏！”
“大将军已去，难道霍禹等人还能继承其业，让霍家世代为大将军，继续专权不成？时移世易了，大将军之时不复返，但大将军临终前念念不忘者的两事，吾等却能够助他完成。”
“一是希望能有朝一日击灭匈奴，二是不愿孝武晚年之事重蹈。”