巴黎国立高等音乐学院是在“国民自卫军音乐学校”的基础上发展起来的。该校由贝尔纳。萨莱特（Bernard Sarrette）创建于1795年。 巴黎国立高等音乐学院录属于文化部，实行免费教育，学生只需交付登记注册费，注册费每年约150到300欧元，可申请奖学金。入学考试在每年的第一个学期进行。各学科都有年龄限制，最小10岁（和声、钢琴、竖琴、小提琴、大提琴和视唱练耳），最大30岁（预段结束后，不同学科的学生可以享受奖学金。每个阶段结束后，不同学科的学生得到的奖励不尽相同，有：考试合格证书，毕业证书，第一、二等奖，等等。）
巴黎国立高等音乐学院曾几度更名，“国民自卫军免费学校”（1792），"国立音乐院"（1793），“全国音乐戏剧学院”（1795），在法国王朝复辟时期，成为“皇家音乐学校”，后又重用“全国音乐戏剧学院”之名（1822），直到后来取名为“国立高等音乐学院”。该校最初设在普瓦尼埃尔区的Menus-Plaisirs 旅馆，1911年迁至马德大街14号的一所古老耶稣教中学。 学校初建伊始，萨莱特周围有五位督学：梅于尔，格雷特里，戈塞克，勒絮尔和谢吕里尼。至1796年，学校男女生人数达600人，教师人数达115人。
学校从其创办至今，历任校长有12名。萨莱特（1796--1815）力求为各学科找到一种行之有效的教育方法。他为歌唱家设立了奖学金，同时还在该校建起了图书馆。弗朗索瓦。佩尔内（1815--1822）向图书馆捐赠了吉约姆。马肖比尼（1822--1842）经努力终被获准同意在每个班招收两名外国学生，并创建了“音乐学院音乐会联合会”。达尼埃尔。奥贝尔（1842--1871）是任期最长的校长。之后是昂布鲁瓦兹。托马（1871-1896）和泰奥多尔。杜布瓦（1896-1905）。加布里埃尔。富雷（1906-1920）开设了一个对位班，从此这门学科可以在作曲班里教授。亨利。拉博（1920-1941）为第八任校长。克洛德。德尔万古（1941-1954）于1943年创创办了“音乐学院少年管弦乐团”。该团后来成为巴黎最出色的管弦乐团之一。其继任者为马塞尔。迪普雷（1954-1956）。雷蒙。卢舍尔（1956-1962）在任期间，行政管理比艺术管理更加严格。雷蒙。加卢瓦-穆布伦（1962-1983）是位小提琴家兼作曲家，他对器乐各科的教学结构作了调整。1966年，他开办了一个进修班；1969年，又办了一个古典吉他班，聘请亚历山大。拉戈亚任教；1977年，还办了一个乐器法和配器法班，聘请马里斯。康斯坦执教。此外，在舞蹈教学方面，他也进行了改革。他要求学舞蹈的学生要同时学习视唱练耳和音乐史。继他之后又有马克。布勒兹（1983-1986）和阿兰。卢维埃（1986）两位校长。自1986年起，各种事务均由阿兰。卢维埃（1986）两位校长。自1986年起，各种事务均由阿兰，邦卡尔负责。
从学校成立之日起就开始任教并在国内外享有声誉的教师有：戈塞克，梅于尔、勒絮尔，柏辽兹，费蒂斯，克鲁采，马斯内，维多尔，吉尔芒，M.埃玛纽埃尔，H.比塞，P.杜卡斯，A.科尔托，CI.克鲁瓦兹，M.穆瓦兹，A.布律诺，M.迪普雷，罗兰-曼努埃尔，Ch.图尔内米尔，M.博菲斯，L.马夏尔，N.杜富尔克，L.拉斯基纳，O.梅西安，等等。世界著名的钢琴演奏家 理查德·克莱德曼，就是出自此校。
音乐学院的学制一至五年不等。第二阶段器乐专业的学生若想获得一等奖，只有三次考试机会。连续两年考试不合格者，可取消其注册资格。只有获得了一等奖的学生（钢琴，小提琴，室内乐，声乐，乐队指挥）才有次格进入提高阶段，学制为二一三年，其任课教师一般为该院的助教、教授以及从院外聘请的教师，如：P. 巴杜拉-斯科达，Y.梅纽因，H.谢伦格，M.罗斯特罗波维奇等。学生的作品第年可在8--12场交响音乐会和4场广播音乐会中上演。
1975年的调查情况表明：90--95%获得一等奖的毕业生已进入国内外的管弦乐队；70%的钢琴系的毕业生以音乐为职，其中15%为独奏演员；80%的声乐系毕业生从事的工作与过去所学专业对口；而作曲系的毕业生却很少以写作为生，但他们或在音乐学院做教师或在乐团做指挥；音乐学系毕业生中80%的人或在中学里执教，或在出版社、唱片公司供职，亦或做音乐评论家及音乐节目评论员，但最终成为音乐学家的却寥寥无几；80的指挥专业的毕业生处境不错；79。5%舞蹈专业的毕业生成为职业舞蹈演员。 目前，巴黎国立高等音乐学院还是欧洲音乐院校联合会会员。
巴黎国立音乐学院拥有一家乐器博物馆。该馆建于1864年。目前的乐器藏品达3000多件。在此应该特别提到尚比尔公爵夫人（Genevieve Thibaul）在乐器的收集和介绍方面所起的作用。1961--1973年，她担任该馆馆长之职。
音乐学院的图书馆因藏有大量的手稿（如：莫扎特的《唐乔桥尼》，贝多芬《热情奏鸣曲》，比才的《卡门》以及柏辽兹、拉罗、夏布里埃和德彪西的大部分作品。）已成为当今世界上最好的图书馆之一。在阅览室，读者可查阅到几乎所有涉及音乐领域的书籍，如：法文或其他文种的总谱，音乐词典，百科全书，传记，等等。1911年马雷伯遗赠了大量总谱、亲笔书信以及各种手稿。自1964年马国家图书馆成立音乐部以后，音乐学院图书馆的大部分藏品都转至该部。该馆藏书量为100000册。
最后还需提一下建于1975年的唱片收藏室。该室配有欣赏室。至1980年，收有7000多张唱片，其中很大一部分是1975年平谢尔的遗赠品。目前，该室已成为国家录音资料馆的一部分。
