中国历代音乐机构的建立，是为上层统治阶级、为帝王权贵服务的，都是以雅乐、燕乐、祭祀郊庙、仪仗鼓吹等音乐为其内容，也是我国古代实行音乐教育活动的主要机构和场所。历代音乐机构在音乐管理、音乐教育、音乐表演等方面，都建立了完备的规章制度和实施法则，而且在音乐机构的构建上分设其它管理机构，形成规模庞大、结构复杂的音乐教育组织和体系，有效地实施了音乐传播与教育活动。
据现存的音乐考古资料和历史文献记载分析来看，在我国原始社会就已经有了最古老的音乐教育活动。《吕氏春秋·古乐篇》记载的“三人操牛尾，投足以歌八阕”葛天氏之乐；先秦典籍《尚书》中记载的由夔编制的“击石拊石，百兽率舞”乐舞；其中提到的夔，是舜时的专职乐官，主管乐舞之事，是氏族社会乐舞的组织者、指挥者，而且具有高超的音乐演奏技能，可以说他是原始氏族社会早期的一位音乐教育家。《吕氏春秋·古乐篇》中也提及到的众多专职乐官、乐工等等，足以说明这时的乐舞教习和乐事管理，已经有了相当的规范，出现了一些高水平的乐师。
在先秦时期，音乐教育已获得了它的重要地位，如《周礼》中就把音乐作为教育内容的“六艺”（礼、乐、射、御、书、数）之一。西周王朝的建立后，制定了十分完备的“礼、乐”制度。周初时建立的宫廷音乐机构“春官”，可说是我国古代最早的音乐教育机构和第一所音乐学校。其中的“大司乐”的重要职能之一就是实施音乐教育（以“礼乐教育”为其主体），培养的对象主要是“世子”（王、诸侯的长子）、“国子”（公卿大夫子弟）和“学士”（平民青年），并且按照“乐德”、“乐语”、“乐舞”三种施教内容，系统化、程序化的进行音乐教育。周代的音乐教育已经有了相当严格的教育程序和教育目标，但是“春官”的真正作用，是为了配合礼乐教育，维护周王朝的最高统治。
在秦统一六国之后，建立了名为“乐府”的音乐机构，“乐府”的兴盛是在汉武帝时期。“乐府”作为宫廷音乐机构，其主要职能是大规模、大范围地采集民间歌谣，创作、填写歌辞，创作乐曲进行演奏、演唱活动。此外，还研究音乐理论、制造乐器等等。对少数民族地区的音乐以及外域音乐，也加以吸收、利用并进行改编创作。
汉代“乐府”的乐官、乐师，主要是由出身“倡门”的乐人和来自各地的乐人组成，他们都是很有才华、技艺精湛的音乐家。“乐府”中还有许多“师学”（学员），他们以“乐府”中的乐官、乐工为师，接受器乐、声乐等各种演奏、演唱技能的训练，并参与宫廷的各种演出活动。汉代协律都尉李延年，是乐府中最重要的音乐家，善长歌唱和创作，很受汉武帝的赏识，被任命为协律都尉，主持乐府工作。他根据西域音乐创作出“新声二十八解”，这是汲取西域音乐的精华进行创作的最早记录。公元前7年，汉哀帝对乐府机构进行了裁减，致使乐府由盛变衰。乐府的设立，虽然在主观上是为了适应统治阶级宫廷享乐的需要，但是通过对各地民歌的采集，客观上也促进了民间音乐的发展，起到了保存民间音乐的作用，促成了汉代民间音乐的繁荣，对其后音乐文化的发展产生了深远的影响。
隋、唐时期的音乐教育机构，分为政府管辖和宫廷管辖两个不同系统，乐工人数有数万人之多。在政府管辖的系统中，太常寺是掌管礼乐的最高行政机关，由太常卿主管。其下有大乐署和鼓吹署两个音乐机构，前者兼管雅乐和燕乐，还主管对艺人的训练与考核，是太常寺的主体机构之一；后者专门管理仪仗中间的鼓吹音乐和一部分宫廷礼仪活动，也即是卤簿与军乐的官署。由宫廷直接管辖的音乐机构有教坊和梨园。所谓教坊就是宫中训练、培养乐工的场所。唐玄宗开元年间，教坊空前发展，共有教坊五处，分别是宫中的内教坊、西京的左右教坊和东京的左右教坊。左右教坊各有分工，右多善歌、左多工舞，相因成习。内教坊的伎女分为内人、宫人、捣弹家三类，是专为御前供奉的伎女，也是歌舞艺人中的出类拔萃者。梨园是唐玄宗在内廷设立的音乐机构，与专习歌舞的教坊不同，梨园以教习法曲为主。内廷的梨园由宫廷派内监主管，宫外有分属两京太常寺的梨园，人员从太常乐工中精选出来，人数多达千人。唐代的音乐机构是唐代优秀音乐人才的汇集之地，对人才的选拔和培养起到了重要的保证作用，并在教育、表演、组织、管理方面为后世积累了可供借鉴的历史经验。
宋、元、明、清时期，音乐文化发展的重心移向了民间，音乐活动不再以宫廷为主，而是以宫廷与民间共同发展为其特征，民间的音乐活动则显得更加繁盛，说唱艺术、戏曲艺术也得以确立和发展，并逐渐走向成熟。此时，音乐社会生活发生了重大变化，音乐的活动中心开始分化，多种艺术形式呈现出崭新的面貌，宫廷音乐机构逐渐消解，规模也没有前世那么庞大，杰出的宫廷音乐家越来越少，音乐教育行为逐渐转向民间，音乐教育活动呈现出广泛的社会性。这个时期的宫廷音乐机构，基本上沿袭了隋唐时期的模式，设有太常寺、大乐署、鼓吹署、教坊等音乐机构。太常寺主要掌管、演奏宫廷雅乐，用于郊庙祭祀、朝贺典礼等场所，同时还教习音乐、编写教材、制定考绩制度，把教习雅乐作为一项重要的音乐教育活动。
宋代教坊初期完全沿用旧制，分为四部———大曲部、法曲部、龟兹部、鼓笛部。后又陆续从各地吸收了许多优秀乐工，随之教坊规模不断扩大，艺术质量明显提高。宋代教坊的主要任务是为宫廷演奏燕乐、创作燕乐。
南宋教坊几经兴衰，撤而复置，名存实亡。到了宋孝宗时，教坊机构才被废止。元代宫廷设太常寺、大乐署等机构，分别管理执掌雅乐、郊社宗庙之乐。音乐的教育活动也是以雅乐为其主要内容。明代的太常寺仍然掌管雅乐，教坊掌管宴飨之乐，民间俗乐大量渗透宫廷雅乐和燕乐之中，俗乐成为宫廷音乐传教的主要内容。清代宫廷只保留太常寺音乐机构，仅有少量的雅乐传教活动。
中国古代音乐教育机构的建立，促使了宫廷音乐、文人音乐、民间音乐相互融合与进一步延续和发展，中外音乐文化在此也得以广泛地传播和交流，与此同时，音乐教育机构和体制本身也更加完善和健全。音乐教育机构还为宫廷和民间培养了诸多优秀音乐人才，在教育、表演、组织、管理等方面，都为后世积累了丰富的可供借鉴的历史经验。