Jeho první manželství s fotografkou Sashou Czack začalo, když mu bylo 28 let, a měli spolu dva syny, Sage a Seargeoha. Stallone chtěl, aby všechna jména jeho dětí začínala na písmeno S. Po úspěchu filmu Rocky se však jeho pracovní závazky natolik zvětšily, že na rodinu nezbýval čas. Po deseti letech následoval rozvod. Silvester se později snažil syna Sage napojit do filmového průmyslu, ale problémy s drogami vedly k tra*ickému konci – Sage v roce 2012 zemřel. Stallone nikdy nepřekonal tuto bolestnou ztrátu.Po rozvodu se rychle rozhodl pro další sňatek s modelkou a herečkou Brigitte Nielsen. Toto manželství však trvalo pouhé dva roky, jelikož Brigitte měla od začátku pochybnosti o rychlosti jejich vztahu.Jiskra naděje přišla s Jennifer Flavin, kterou Stallone poznal v roce 1988. Přesto, že byl Stallone o dvacet let starší, zdálo se, že tento vztah má šanci. Nicméně Stallone stále bojoval se svými démony z minulosti, což vedlo k nevěrám a následně k prvnímu rozchodu s Jennifer po šesti letech. Jennifer se o důvodech rozchodu dozvěděla až z dopisu a později se ukázalo, že Stallone měl poměr s modelkou Janice Dickinson. Po zjištění, že dívka, kterou Janice porodila, není jeho dcerou, vztah s ní Stallone ukončil a vrátil se k Jennifer.
