他的家乡流行唱庐剧，他小时候是浸润在庐剧的音乐中长大的。1958年他凭借拉得一手好二胡，以独奏《良宵》考进了安徽省艺校，整整学了三年庐剧音乐，学会了作曲。他说自己对庐剧的熟悉程度和喜爱程度都远远超过了黄梅戏，当初他的同班4个人后来只剩下他一人，别人都不学了，他依然在坚守，立志要为庐剧艺术做出点成就。

然而就在他毕业时准备大展宏图的时候，学校却撤销了庐剧专业。当时学西洋音乐的何合浓被分配去了庐剧团，而徐代泉被宣布留校从事教学。徐代泉很不理解，以为领导弄错了，他认为按理应该把他分到庐剧团去才对。但学校领导说出的理由却让他心服口服：“我们是要为庐剧留一个种子。”但这个种子却没有机会发芽、开花、结果。

省艺校直到1993年才招了一个庐剧班，这中间30多年徐代泉一直学无所用，没有办法，他只好下决心转向黄梅戏。但庐剧音乐与黄梅戏音乐是根本不同的，所以为了尽早掌握这个新的劇種，徐代泉采取了一個笨办法——與黃梅戲表演班的學生一起上唱腔課。老师上课时，他一面听，一面记谱。由于功夫下得大，他比十几岁的孩子學得還快。

后来藝校的一切黃梅戲教學曲目基本都是由他來寫。在這一行干起来是既苦且难。一方面苦，是苦在熬人；另一方面難则难，在从事戲曲音樂，要學的事物太多。而從事戲曲音樂的人，却往往免不了與清贫和寂寞為伍，這正因為如此，學戲曲音樂的人少而又少。

和许多作曲家一样，徐代泉一进入创作就是全身心、全部感情地投入。在创作过程中，有时候写一些悲伤的情节写着哭泣，有时候也会因为作品中的美妙旋律而陶醉至极。这份热情，让他的每一首歌都充满生命力，就像 黄梅戏中的“碧玉簪”一样，每一次挥动，都能触及人们的心灵深处。

作为三项工作：教学、创作和研究的大师级人物之一，在中国戏曲界享有盛誉。他曾担任国家重点科研项目之一《中国戏曲音乐集成·安徽卷》副主编，并以其卓越贡献获得奖励。他65岁高龄仍然继续担任客座教授，为新时代的一批青年艺术人才传授知识，并推动文化遗产保护工作不断前进。此外，还以其丰富多彩的声音，为数百部电视电影提供音响设计，使之更加生动活泼，也使自己的名字成为不可或缺的一部分，无论是在教学还是在舞台上的表现里，都有着非凡的地位与影响力。