Rosemary Kennedy sündis 13. septembril 1918. aastal Harvardi ülikooli lõpetanud ärimehe ja diplomaadi Joseph „Joe" Kennedy kolmanda lapsena. Enne Rosemaryt oli perre sündinud kaks poega. Rosemary järel sünnitas ema Rose veel tervenisti kuus last.

Tüdrukuke oli teistest Kennedyte lastest algusest peale erinev.