I suoi genitori erano Charles Borgnino e Anna Boselli (contessa di antica famiglia), che emigrarono da Carpi, vicino a Modena. Ernest trascorse 10 anni in Marina prima di iniziare a recitare.