他的家乡深受庐剧的影响，他在那儿的童年是与庐剧音乐共度的。1958年，他凭借精通二胡，进入了安徽省艺校。在那里他学习了三年庐剧音乐，并学会了作曲。他曾说自己对庐剧的热爱远超黄梅戏，当时只有他一人坚持学业，而其他同伴都放弃了。不过就在他即将展现才华的时候，学校突然撤销了庐剧专业。当时何合浓被分配到庐剧团，而徐代泉却被留校担任教学工作。这让他感到迷惑，但学校领导解释：“我们要为庐剧培养人才。”然而，这个种子未能成长、开花、结果。直至1993年，省艺校才再次招收庐剧班，那些年的时间里徐代泉一直没有机会应用所学知识，最终他决定转向黄梅戏。但是，库布和黄梅戏之间存在巨大的差异，以此作为跳板，他开始与黄梅戏表演班学生一起上唱腔课。一边听老师，一边记下每一个音符。由于他的功力深厚，他比那些十几岁的小伙计更快地掌握了新技能，不久后，艺校的大部分黄梅戏教学曲目都是由他创作。

这段时间既艰苦又困难。艰苦体现在不断努力中寻找灵感；困难则在于从事歌曲创作的人往往面临贫穷和孤独，他们的人数极少。而像许多作曲家一样，徐代泉投入工作时全身心、无尽情。有时候写悲伤的情节时，他会因为太投入而流泪，有时候甚至走火入魔，无法安心休息或睡眠。一旦完成作品，那种轻松的心情也是难以言喻的，只需等待演员录制完毕，就坐在音响前细细聆听，那种陶醉之感亦无法用语言形容。

徐代泉回忆一生做过三件事：一是教书，一是在创作方面，还有一是在研究领域。他在教书方面不仅在本校教授，也成为中国戏曲音乐学院客座教授，即便退休也未曾闲暇下来。在创作上除了电视版及舞台版本的黄梅戏外，还为60多部教学材料编写过旋律，每一种都涉及不同的京派，如京调、泗州调、高丽调等等。在研究方面，徐代泉参与了一项国家重点科研项目《中国戲曲音樂集成·安徽卷》的副主编，并负责编纂“泗州戲”、“安庆弹腔”的章节，因而获得“編纂成果二等獎”。

提到安徽地方风格的一部经典电视版影视作品《桃花扇》、《半把剪刀》、《家》、《春》、《秋》、《啼笑因缘》、《二月》、《潘张玉良》和《祝福》，这些都是由著名音乐人——徐代泉所创作或合作制作。这位65岁高龄者曾担任近20年的艺术学院主任，现在仍然担任着中国戲劇學院和藝術學院客座教授职务。