O ddyddiau cynharaf bodolaeth y parc, roedd bandiau’n chwarae i ddiddanu’r dorf. I ddechrau, fe wnaethant berfformio ar y Promenâd. Roedd gwylwyr yn aml yn llogi cychod er mwyn iddynt fwynhau golygfa dda o’r perfformiadau. Roedd y tymor ar gyfer perfformiadau band yn rhedeg o fis Mai i fis Awst.
Trwy gydol y 1900au talodd y Cyngor fandiau i chwarae ym mhob un o barciau Caerdydd. Cafodd Parc y Rhath gyllid ychwanegol gan y Pwyllgor Tramffyrdd, a oedd eisiau gwneud yn siŵr bod eu gwasanaeth tram newydd i’r parc yn cael ei ddefnyddio’n dda.
Disodlwyd bandstand dros dro, a adeiladwyd ym 1899 yn ddiweddarach gyda strwythur parhaol ym 1903. Roedd cadeiriau plygu ar gael i ymwelwyr eu llogi am dâl bach. Un dydd Mercher yn ystod haf 1904, amcangyfrifwyd bod cymaint â 14,000 o bobl wedi mynychu tra roedd band yn chwarae. Arweiniodd poblogrwydd cynyddol y digwyddiadau hyn at ehangu llwybrau a gosod ardaloedd glaswelltog ychwanegol i ddarparu ar gyfer y torfeydd.
Ym 1911, gosodwyd goleuadau trydan ar y bandstand, y promenâd a’r llwybrau sy’n arwain at y bandstand. Roedd hyn yn golygu y gellid ymestyn y tymor ar gyfer perfformiadau cerddorol am 6 wythnos ychwanegol, a gallai ardaloedd goleuedig y parc aros ar agor am 2 awr yn hwy bob dydd. Y gaeaf hwnnw, lledaenwyd llwybrau eto i leddfu gorlenwi ar nosweithiau bandiau.
Parhaodd y rhestr o berfformiadau i dyfu, gan gynnwys perfformiadau gan gorau a phartïon cyngerdd gwisgoedd a elwir yn sioeau Pierrot. Roedd y sioeau hyn yn gofyn am lwyfan dros dro gydag ochrau cynfas, gyda’r bandstand yn cael ei ail-bwrpasu fel ystafell wisgo. Ar ôl eu tymor cyntaf ym 1912, ystyriwyd y sioeau hyn yn llwyddiant mawr. Aethant o nerth i nerth ac erbyn 1915 trefnwyd partïon cyngerdd ar gyfer wythnosau cyfan o berfformiadau. Am flynyddoedd lawer i ddilyn, daeth y partïon hyn yn brif adloniant ym Mharc y Rhath.
Roedd cynulleidfaoedd wedi treulio blynyddoedd lawer yn gwylio perfformiadau yn yr awyr agored a gwnaed llawer o geisiadau i ddarparu cysgod rhag y tywydd. Adeiladwyd Pafiliwn Cyngerdd Parc y Rhath ym 1921, gan alluogi cynulleidfaoedd i fwynhau sioeau dan orchudd.
Ym 1930, darparwyd ardal yn agos at y bandstand ar gyfer dawnsio yn ystod cyngherddau. Roedd hwn wedi’i leoli tua’r lle mae’r maes chwarae plant yn sefyll heddiw. Roedd seddi a lluniaeth ar gael hefyd.
Yn ddiweddarach, darparwyd cerddoriaeth ar gyfer dawnsfeydd gan ddefnyddio recordiau gramoffon, gydag uchelseinyddion yn cael eu gosod yn y pafiliwn ym 1940. Roedd y dawnsfeydd hyn yn hynod boblogaidd. Prin y defnyddiwyd y bandstand ar ôl hyn, felly cafodd ei symud ym 1943. Dymchwelwyd y Pafiliwn ym 1953 pan ystyriwyd ei fod yn anniogel.
