仕途开端其祖先自徽州徙郢州京山。程钜夫5岁就学，由于长辈谆谆教诲，家学渊源深厚，他从幼年时代开始就显得出类拔萃，文思敏捷，过目成诵，17岁开始从学于龙渊先生胡自明，19岁开始游学于临川临汝书院，从学于徽庵先生程若庸，和翰林学士吴澄是同窗，都是教育家李燔的三传弟子。叔父程飞卿于宋德祐元年（1275）任建昌军（今江西南城县）通判，程钜夫随其叔父来南城寄居。德祐二年（1276），元将攻南城，程飞卿献城降元，因程钜夫是叔父的嗣子，作为人质进京。元世祖至元中，授宣武将军，管军千户。元世祖曾召见他，问他南宋贾似道为何许人。他应对极详，世祖甚喜；给以笔扎，他书二十余幅以进，世祖大奇之。命置之翰林，因其年少，于是令应奉翰林文字，并面嘱朝政得失，朝臣邪正，都得进言。不久，进翰林院修撰，屡调集贤直学士，兼秘书少监。展露头角元至元十九年（1282），程钜夫向朝廷奏陈五件事：开科考选江南才子，汉蒙官员互通，建立官员政绩考核制度，对贪赃枉法者给予惩处，被录用的江南官员应发给一定的俸禄，使其安心为朝廷服务。这些意见多被朝廷采纳。至元二十年（1283），加翰林集贤院学士同领会同馆。至元二十三年（1286），又建议兴办国学，促使汉蒙文化互相交流；派官员往江南搜访贤才，御史台、按察司等部门应允许录用南北之人，以利民族融洽，促进统一。这些主张，均得到世祖赞同。至元二十四年（1287），元朝复设中书省，授程钜夫为参知政事，其坚辞不就；又命其为御史中丞，言官认为程钜夫是南方人又年轻，不宜重用。世祖斥之，并规定各部院必须选用南人。遂以集贤院直学士拜侍御史，行御史台事。程钜夫奉诏前往江南求贤，并以汉字书其诏书。经其荐举，赵孟頫、吴澄等20余人均被安置台宪或文学之职。还朝，奏陈民间利弊五事；授集贤学士，仍还行台。得授重任至元二十六年（1289），丞相桑哥专政，法令苛急，四方骚动。时任南台侍御史的他上书请“清尚书之政，减行省之权，罢言利之官，行恤民之事”，与时任御史台都事的挚友王约互为表里相呼应，桑哥大怒，六次奏请诛杀他们，皆被世祖所止。至元三十年（1293），程钜夫出任闽海道肃政廉访使。大德四年（1300），调任江南湖北道肃政廉访使。到任后，首先对行省平章家奴中为民害者予以处罚，上下肃然。大德八年（1304），被拜为翰林学士，参与中书省议事。大德十一年（1307），任山南江北道肃政廉访使，复留为翰林学士。至大元年（1308），程钜夫主修《成宗实录》。至大二年（1309），至上都（今内蒙古正蓝旗东北闪电河北岸）。至大三年（1310），复任山南江北道肃政廉访使，调任浙江东海右道肃政廉访使，留为翰林学士承旨。皇庆元年（1312），主修《武宗实录》。皇庆二年（1313），上书言桑林六事，建议行贡举法，经学以程颐、朱熹传注为主，文章宜剔除唐、宋宿弊等。诏行之。同年三月，程钜夫以老病求致仕还乡。仁宗本不允许，后见他态度坚决才同意。行前特授程钜夫光禄大夫，赠上尊称号，命廷臣以下官员至大都齐化门外饯别，并令行省等对程钜夫经常加以慰问。程钜夫先后得到世祖、成宗、武宗、仁宗4位皇帝的倚重，是元朝信任、重用的少数南方籍官员之一。延祐五年七月十八日（1318年8月14日）去世。泰定二年（1325），追赠大司徒、柱国，追封楚国公，谥“文宪”。
