历来关于《乐记》的作者，有公孙尼子、子夏、子夏与窦公合作、荀子、荀子学派、汉武帝时杂家公孙尼、河间献王刘德及毛公等儒生诸说（注：可参郑良树：《续伪书通考》，599～647页；蔡仲德：《〈乐记〉〈声无哀乐论〉注译与研究》，杭州：中国美术学院出版社，1997年5月；孙星群：《〈乐记〉研究百年回顾》，《中国音乐》，2000 年第4期。）。稍有来源的说法，只在公孙尼子、 河间献王刘德及毛公等儒生二说。而同样根据古书通例，真正的问题是：《乐记》是公孙尼子学派的作品，还是河间献王刘德及毛公等儒生所作。
    这两个问题相关，涉及诗乐思想的源流，较为复杂。但是上海博物馆藏楚简或许为我们提供了新的门径，在上引与《孔子诗论》相应的《说苑·贵德》篇前面，有这样一段文字：
    圣人之于天下百姓也，其犹赤子乎！饥者则食之，寒者则衣之，将之养之，育之长之，唯恐其不至于大也。《诗》曰：“蔽芾甘棠，勿翦勿伐，召伯所茇。”《传》曰：“自陕以东者，周公主之，自陕以西者，召公主之。”召公述职，当桑蚕之时，不欲变民事，故不入邑中，舍于甘棠之下而听断焉。陕间之人，皆得其所。是故后世思而歌咏之。善之故言之，言之不足，故嗟叹之，嗟叹之不足，故歌咏之。夫诗，思然后积，积然后满，满然后发，发由其道，而致其位焉。百姓叹其美而致其敬，甘棠之不伐也，政教恶乎不行？向宗鲁先生指出：《传》为“公羊隐五年传……《公羊》二‘以’字皆作‘而’，《白虎通·封公侯篇》引《公羊传》作‘已’，并通，《史记·燕世家》作‘以’，与本书合。”后面的文字则与《韩诗外传》、《汉书·王吉传》、《毛诗大序》有关（注：见向宗鲁：《说苑校证》，第94页，北京：中华书局，1987年7月版。）。
    我们知道，司马迁曾从公羊学大师董仲舒问学，因此《史记·燕世家》之语可能来自董仲舒，因此《说苑·贵德》所引《传》可能是《公羊传》。相传《公羊传》出自子夏，只到公羊寿才与弟子胡母生著于竹帛。但此章作者只不过引用了两句话，其时代不一定晚于董仲舒、公羊寿，而且“《传》”更可能应读为“旧传”之“传”。而《韩诗外传》有大量文字与《荀子》相近，古人早有韩诗传自荀子之说；在毛诗更为可信的一种源流传说中有荀子。因此，《说苑·贵德》此篇可能与子夏学派有关。我们可以看到的是，关于诗乐之生，作者有以“思”贯通言、诗、乐的思想，比《毛诗大序》有进步。
    这一则材料，未被讨论《毛诗大序》者注意，大概是将《说苑》归为刘向编定的缘故。清人将《韩诗外传》一、《汉书·王吉传》所论《甘棠》归为韩诗说；将《说苑·贵德》以及与它文字接近，论《甘棠》的《史记·燕世家》、《白虎通·巡狩》、《法言·先知》、《史记·商君列传·集解》引《新序》、应劭《风俗通·皇霸·六国》等等，归为鲁诗说；将《初学记·人事部》引《乐动声仪》、《盐铁论·授时》论《甘棠》之文归为齐诗说（注：参王先谦：《诗三家义集疏》，第83～86页，北京：中华书局，1987年2月。有所订正。），未必完全可靠。汉代传诗者学术传自先秦，而以学名家，弟子多能谨守家法。《说苑·贵德》此章杂数家之说，应该不是刘向的作品。而且王褒的《四子讲德论》中有：
    传曰：诗人感而后思，思而后积，积而后满，满而后作，言之不足，故嗟叹之，嗟叹之不足，故咏歌之，咏歌之不足，不知手之舞之足之蹈之也（注：见《文选》，第713页B，北京：中华书局，1977年11月。）。李善注：“《乐动声仪》文也”。引文较之《毛诗大序》，更与《说苑·贵德》接近。而极为明显的是，它与《毛诗大序》、《说苑·贵德》结构不同，由诗人之感出发，将言、诗、乐一以贯之，大有精进！
    王褒，蜀人，其学渊源不可考，大致与刘向同于公元前五十九年为待诏，上距河间献王之立九十余年（注：参刘汝霖：《汉晋学术编年》卷二，第118～119页，卷一，第69～70页，上海书店《民国丛书》本，据商务印书馆1935年版影印。）。《四子讲德论》还言及“夫乐者，感人密深，而风移俗易”（注：见《文选》，第712页B。），近于《乐记·乐施》、《荀子·乐论》之“其感人深，其移风易俗”（注：见《礼记·乐记》，《十三经注疏》1534页C；王先谦《荀子集解》，第381页，北京：中华书局，1988年9月。），与《史记·乐书》“其感人深，其风移俗易”（注：见《史记》，第1206页，北京：中华书局，1959年9月。）更近。其时《史记》罕见，王褒可能引自传本不同的《乐记》。王褒熟知乐事，当时应该还有不少言乐之人，乐纬在当时早已出现，是完全有可能的。