自幼生长在黄梅戏的故乡，安庆市怀宁县农村，那里的农民自发组织的黄梅戏团体和传唱的黄梅音调，让他留下了深刻的记忆。程学勤从小就对音乐产生了痴迷，从6岁起，他就跟着一个瞎眼算命先生边走边拉二胡，10里路后返回家中，又被打了一顿，但这并未阻止他对音乐的热爱。他上中学时，每天晚上都坐在门口听安庆市民众黄梅戏剧团排练，一直到散场。

程学勤不仅有着音乐天赋，上小学时，他自己学会了拉二胡，并且用皮做了一把，因为他的二胡拉得特别好，他1954年就被民众黄梅戏剧团招进来担任主胡演奏。在那里，他遇到了著名作曲家时白林，并由此开始涉足作曲领域。由于没有专业学习乐理和黄梅戏知识结构，程学勤只能一边工作一边自学，但他的热爱和勤奋使他很快胜任作曲工作，并取得了显著成就。

从1955年的《杜鹃》到2005年的《明月清照》，程学勤在半个世纪内创作了204部大、小合集，在同行中无可比拟地成为安徽省最成功的一位自学成才的人物。他还曾获得多个国家级奖项，如“金杯银杯”、“飞天奖”，以及“华表奖”。尽管如此，程学勤更珍视的是老百姓喜爱自己的作品，而不是获奖证书。他坚信要有主见地保持原味唱法，以时代新面貌展现给观众，这是他最高追求。