中山大学研究生院的历任院长有李岳生、张进修、马骏等。
中山大学研究生教育的历史开始于20世纪20年代。1935年春，中山大学与清华大学、北京大学等三所高校经当时的教育部批准，正式设立研究院，是我国最早设立研究生院的院校。至1948年，共培养研究生56名。新中国成立后，中山大学的研究生教育继续发展。
1949年至1967年，共培养研究生177名。改革开放以来，中山大学是我国首批恢复研究生教育的院校。1986年，经国务院批准，中山大学正式设立研究生院。中山大学与中山医科大学合并后，新中山大学研究生教育的学科体系更加完善。
