1957年,何占豪考进上海音乐学院管弦系主修小提琴。那时,他们经常下乡演出,每次都拉外国曲目。何占豪慢慢发现,听他们拉琴的人越来越少。他开始思考,能不能用小提琴演奏出中国人喜闻乐见的音乐呢?于是,何占豪和丁芷诺、俞丽拿等6名同学成立了“小提琴民族化实验小组”。起初,何占豪用越剧音调创作出了弦乐四重奏“小梁祝”,第一次尝试用西洋乐器演奏中国戏曲音乐。1959年,何占豪与陈钢开始合作。他们用西欧传统的奏鸣曲曲式进一步规范了原来的构思,并根据构思由何占豪写乐曲,写完用小提琴拉给陈钢听,定下来后,再由陈钢写伴奏(钢琴),然后到院长课上听取指导。
1959年5月底,在上海兰心大戏院正式首演,由俞丽拿倾情演奏,乐曲一出就犹如天籁之音,40余年经久不衰。