1816. aastal kolis pere Kenti, kus lapsed said maal vabas õhus ringi joosta. Isa ametnikutöö võimaldas poisil saada mõned aastad haridust erakoolides ja iga vaba hetke veetis ta lugedes. Charlesi isa ei osanud kahjuks rahaga ümber käia ning lõpetas 1824. aastal võlgade tõttu Londoni vanglas. Tol ajal oli kombeks, et vanglasse asusid koos mehega ka tema naine ja noorimad lapsed. 12aastane Charles sattus elama peretuttava juurde ning külastas ülejäänud perekonda vanglas pühapäeviti. “Siis lõppes minu lapsepõlv,” on ta hiljem kibedalt meenutanud.