Kui Miliza hakkas tõsisemalt laulmisega tegelema, õpetanud isa Arthur tütart laulma viiuli kõla järgi. „Laula hästi või ära laula üldse!" olid isa sõnad, mida Miliza mäletas terve elu. Ning küllap just tänu isalt saadud koolile hakkas aastaid hiljem Hollywoodis „Suure valsi" võtetel viiulikunstnik Toscha Seidel kutsuma Milizat inimviiuliks. Selle omapärase võrdluse võtsid kiiresti üle mitmed muusikakriitikud.

Lauluõpinguid alustas Miliza Korjus Tallinnas lauluõpetaja Varvara Malama erastuudios ning noore lauljatari esimene soolokontsert toimus 5. mail 1929. aastal Narvas kohaliku vene kogukonna kogunemisõhtul. Isa Arthur, kes jätkas Eesti Vabariigis karjääri pedagoogina Tondi sõjakoolis, abiellus lesestunud Helene-Henriette von Foelschiga, kellel oli eelmisest abielust poeg Kuno. Miliza ja Kuno kohtusid esimest korda ühel jõuluõhtul Tallinnas ja juba järgmisel päeval tegi noormees neiule abieluettepaneku. „Ma arvasin, et ta teeb nalja," meenutas Miliza hiljem, „ja ma nõustusin. Kuid järgmisel päeval sain ma aru, et asi on naljast kaugel. Kaks nädalat hiljem me abiellusime."

Kuno von Foelsch oli andekas insener, kellel oli kalduvus teha ka teaduslikku tööd ning hiljem, elades juba USA-s, sai temast kuulsa ameerika füüsiku, Nobeli auhinna laureaadi Robert Millikani laboratooriumi kaastöötaja.