Egyik dédnagyapja, Tutsek Gusztáv Vazul volt az 1956 utáni perek hírhedt bírája aki többek között Wittner Máriát is elitélte. Tutsek még a 30-as években elvált Toroczkai dédnagyanyjától és megtagadta gyermekeit. " Tutsek Gusztáv Vazul emiatt tabutéma volt a családomban, még a nagyanyám sem ismerte, hiszen az édesanyja egyedül nevelte fel. Tutsek Gusztáv a születésem előtt jó néhány évvel korábban Budapesten az általa vállalt család körében, az én őseimtől távol halt meg. Már felnőtt fejjel, 18 évesen, miután beléptem a MIÉP-be, tudtam meg, hogy ki volt valójában az egyik dédnagyapám." - vallja Toroczkai.[

Nős, egy lánya van. Felesége moldvai román származású