谢灵运出身于陈郡谢氏，祖上谢缵为曹魏重臣。
西晋灭亡之后，东晋迁都建康，谢家的宰相谢安不断调和中央政府和地方军阀的矛盾，还在淝水之战中担任统帅，战胜苻坚，使东晋政权得到了很好的巩固。谢安之后，“陈郡谢氏”已经成为风头无两的大族，以其丰厚庞大的底蕴，即使在战乱频繁的年代里也能历七代而不倒。谢灵运就是谢家的第七代传人。
出身豪门大族的谢灵运，无疑一出生就站在了别人穷尽一生也不能达到的高度。因为谢家子孙难得，所以家中长辈格外看重谢灵运，唯恐他贵命难活，忍痛将其到去别人家寄养，直到谢灵运十五岁的时才将他接回。谢灵运在回到谢家后不久就继承了祖父的爵位，被封为康乐公。
能受到如此大的恩宠，当然不止是因为他身上流的是谢家的血，更因为谢灵运天资聪颖，在江南一带甚至没有人的文章比他作得更好。早在谢灵运幼年的时候，他的祖父谢玄就说过这么一句话：我生了谢瑍，谢瑍怎么能生出灵运？
据《宋书》记载，谢灵运的父亲谢瑍“生而不慧”，但是生在占有社会上最优质的教育资源、人才辈出的谢家，即使不慧，也绝不会很差劲。谢瑍所得的评价，很大可能是因为其子谢灵运的聪慧达到一种令人惊讶的程度，以至于大家忍不住拿谢瑍来衬托谢灵运，而谢玄也丝毫不掩饰自己对这个孙子的看重与偏爱。
曾祖父 谢奕 字无奕，晋穆帝时官至安西将军、豫州刺史。
祖父 谢玄 官至散骑常侍、左将军、会稽内史，封康乐县公。
父亲 谢瑍 一名庆，官至秘书郎，袭爵康乐公，早逝。
