自幼生长在黄梅戏的故乡，安庆市怀宁县农村，那里的农民自发组织的黄梅戏团体和传唱的黄梅音调，让童年时代的他留下了深刻的记忆和情感。程学勤从此对音乐产生了浓厚兴趣，当他六岁时，一位瞎眼算命先生边走边拉二胡，他就跟着走了十里路，听完后又独自回家，被父亲打了一顿，但这并没有阻止他的热爱。

上中学时，每天晚上放学后，他总是坐在门口听安庆市民众黄梅戏剧团（今安庆市黄梅戏一团）的排练声。他的音乐才能很快被发现，上小学时，他自己学会了拉二胡，并且十二三岁时，就用自己的手做了一把皮制二胡。1954年，他还未毕业就被民众剧团招进来担任主胡演奏。

1955年，程学勤遇到了著名作曲家时白林，这次见面让他对创作有了更高的追求。他开始涉足作曲领域，对音乐进行系统学习，并且通过不懈努力，最终胜任起到作曲工作。在半个世纪里，程学勤创作出了204部作品，其中包括大戏、小戏等，不仅在同行中无人能及，也成为了安徽省黄梅戏音乐界自学成才的人物代表。

1984年的《渖婿招婿》、1988年的《公主与皇帝》，以及1990年和1992年的《黄山情》、《桃花扇》都获得了国家级奖项，而2000年的《山乡情悠悠》则荣获“中国电影华表奖优秀戲曲片奖”。尽管如此，程学勤认为最重要的是老百姓喜爱自己的作品，而不是奖项。他坚持原味唱法，以时代新面貌展现给观众，是他追求最高标准的一个方面。