Inkább Rákosihoz kötődik a mondás, ahogy a viccben is:

Rákosi Mátyás szerint aki nincs velünk, az ellenünk van. Kádár János szerint aki nincs ellenünk, az velünk van. Orbán Viktor szerint aki nincs velünk, az nincs.