程知节出身东平程氏，济州东阿人。曾祖父程兴，北齐兖州司马。祖父程哲，北齐晋州司马。父亲程娄，济州大中正，后追赠使持节瀛州诸军事、瀛州刺史。程知节是唐初猛将，少骁勇，善于骑马用槊击刺。隋炀帝大业六年（610年）起，盗贼蜂起，程咬金组织了一支数百人的武装，护卫乡里。后投奔瓦岗李密，得到重用，为内军骠骑之一。
李密在军中挑选出勇烈之士八千人，隶属四骠骑，分为左右，号称内军。李密曾自豪道：“此八千人可当百万。”程知节领导其中一军，受到李密厚待。
618年（唐高祖武德元年），王世充与李密决战。王世充军攻击单雄信部，李密派遣程知节及裴行俨增援。战斗中，裴行俨中流矢坠马，程知节连斩数人，抱起裴行俨向后撤退。追兵用槊刺穿他的身体，程知节将槊折断，杀了追兵才逃脱。李密战败，王世充俘获程知节，任命他为将军，待之甚厚。619年（武德二年），因鄙夷王世充为人多诈，程知节与秦叔宝、吴黑闼、牛进达等数十人一起投唐，被任命为秦王府左三统军。此后，程知节追随秦王李世民，先后击败宋金刚、窦建德、王世充，每阵先登，屡立战功，封宿国公。
唐武德七年，李建成、李世民兄弟争位期间，程知节被外任为康州刺史，他对秦王说：“大王您的左膀右臂现在被一一斩除，身体还能长久保全吗？知节就算死，也不能离开。”武德九年6月4日玄武门之变，程知节亦参与其中。玄武门之变后，拜太子右卫率，迁右武卫大将军，实封七百户。
贞观年间，历任泸州都督、左领军大将军。与长孙无忌等代袭刺史，改封卢国公，授普州刺史。贞观十七年（643年）拜左屯卫大将军，检校北门屯兵，加封镇军大将军。太宗命人于凌烟阁绘制功臣二十四人画像，程知节位列十九。
唐高宗永徽六年，迁左卫大将军。唐高宗显庆年间（655年－657年），程知节以葱山道行军总管领兵出征西突厥阿史那贺鲁，为唐朝与西突厥第二次战役。由于在恒笃城进行大屠杀，以及错失战机，返回后被免职。没多久，授岐州刺史，持节岐州诸军事。后上书请求辞官养老，高宗允之。
665年2月26日（唐高宗麟德二年）二月七日，程知节在怀德里第去世，年七十七岁（虚岁），追赠骠骑大将军、益州大都督，谥号襄，赠绢布一千匹、米粟一千石，陪葬昭陵。
