汉文帝刘恒在代国时，最倚重的大臣是郎中令张武和中尉宋昌。
王国的郎中令，就是王爷的贴身侍卫长。郎中令张武是一个谨慎的人，在朝廷大臣派人迎立刘恒入京继承皇位时，他和大多数臣属意见一致：称病不去。他们认为这是一个阴谋，周勃、陈平等大臣都是刘邦夺取天下时的重臣，熟习兵事，多谋善诈，他们这样做，可能别有用心，以前没表现出来，是畏惧高帝、吕太后的威势罢了。如今他们诛灭诸吕，血染京城，此时遣使来迎立，不可轻信。希望他假装有病，静观其变，不要前往。
张武等议曰：“汉大臣皆故高帝时大将，习兵，多谋诈，此其属意非止此也，特畏高帝、吕太后威耳。今已诛诸吕，新喋血京师，此以迎大王为名，实不可信。原大王称疾毋往，以观其变。”
从后来的事实来看，张武太过谨慎，他的谨慎差点让文帝失去这次千载难逢的机遇。但张武所说的汉大臣“多谋诈”并非无端猜疑，就在诸大臣诛灭诸吕时，其种种“谋诈”手段已毕显，特别是决定废黜少帝，另立代王后，却始终没有对少帝采取行动，直到刘恒准备入进未央宫时，方清宫诛杀少帝及其三弟。
而且，在刘兴居和夏侯婴、张泽完成清宫之后，未央宫门外还有十名谒者持戟护卫端门，直到太尉周勃说明情况，谒者才放下兵器离去。
因此，张武“称疾毋往，以观其变”的建言虽未被刘恒采纳，然其力主持重、警惕汉大臣的谋诈的顾虑，则被刘恒付诸实践。文帝先是派舅舅薄昭前往京城打探消息，了解到大臣们的真实想法后才决定前往京城；车驾到达高陵就停了下来，又派宋昌到京城再次打探消息；在渭桥接见群臣时，拒绝周勃私下进言的请求；入住皇宫后，当晚就更换守将，加强宫中和京城守卫。
所以，刘恒登基后，一如既往的信任和重用张武。入宫当夜，张武就由代王国的郎中令，升任为汉帝国的郎中令，还是贴身侍卫长。郎中令是秩二千石的高官，西汉九卿之一，地位仅次于三公。
由于深受皇帝宠信，张武成为了群臣巴结的对象，而他也没能经受住诱惑，私下接受了贿赂。后来，这件事被文帝知晓，他没有责罚张武，也没有把他交给廷尉依法审理，而是从御府拿出等额的金钱赐给张武，让他受到良心的谴责。文帝向来重视依法治国，在这件事上却徇了私情，从中可见文帝对张武的倚重。
群臣如张武等受赂遗金钱，觉，上乃发御府金钱赐之，以愧其心，弗下吏。
文帝十四年冬，匈奴入边为寇，杀死了北地都尉卬。汉文帝怒不可遏，决定御驾亲征，他布兵谴将，亲自劳军，郎中令张武被任命为车骑将军，屯军渭北，统领千乘车兵和十万骑卒。
在太后的制止下，汉帝未能亲征，张武也没有出击匈奴，但我们还是能感受到文帝对于张武的信任。在大规模的战争中，重兵还是要掌控在张武这样的亲信手中。
文帝后元六年冬，匈奴三万人入侵上郡，三万人入侵云中。汉文帝下令军分六路进行防御，这六路大军中，就有将军张武，他负责屯守北地郡（今甘肃省庆阳市一带）。
文帝后元七年（公元前157年）六月，汉文帝离开了人世。这时，张武被任命为监造皇陵的总负责人，征发皇陵周边县及京城所在地区士卒三万余人，在白鹿塬开山建造陵墓，护送棺椁以礼安葬。最后，将随葬品有序摆放，复土如故。
後七年六月己亥，帝崩於未央宫。……郎中令武为复土将军，发近县见卒万六千人，发内史卒万五千人，藏郭、穿、复土属将军武。
