وبعد اندلاع الثورة البلشفية انضم للحزب الشيوعي وعاد عام ١٩١٩ إلى المجر مع الحكم الجمهوري السوفيتي الجديد بها تحت قيادة بيلا كون. وبعد سقوطه في العام نفسه، هرب إلى الاتحاد السوفيتي. وفي عام ١٩٢٤، عاد إلى المجر سراً لتنظيم وإحياء الحزب الشيوعي المحظور ولكنه وقع في أيدي السلطات وحُكم عليه بالإعدام. وكان لتَدخُّل بعض المفكرين الأوربيين البارزين لصالحه الفضل في تخفيف الحكم إلى السجن مدى الحياة.

وفي عام ١٩٤٠، تم الإفراج عنه وانتقل إلى موسكو حيث تَزعَّم المنفيين المجريين. وفي عام ١٩٤٤، عاد إلى المجر حيث عمل على إعادة تنظيم الحزب الشيوعي المجري. كما تولى في الفترة ما بين عامي ١٩٤٥ و١٩٤٨ منصب نائب رئيس الحكومة الإئتلافية. وقد نجح خلال هذه الفترة في إخراج العناصر غير الشيوعية من الائتلاف الحاكم، وعمل بعد ذلك على إبعاد وإسكات جميع التيارات والاتجاهات المعارضة للحكم حتى بين صفوف الشيوعيين. وقد تولى عام ١٩٥٢ رئاسة الوزراء، وتَبنَّى سياسة ستالينية صارمة. وبعد وفاة ستالين، تعرض لانتقادات حادة من جانب القيادة السوفيتية الجديدة، خصوصاً بسبب فشل سياسته الاقتصادية، الأمر الذي دفعه للاستقالة عام ١٩٥٣، ولكنه عاد مرة أخرى لرئاسة الوزراء عام ١٩٥٥ واستمر في ذلك حتى عام ١٩٥٦ حينما استقال قبل اندلاع أحداث الانتفاضة المجرية بفترة قصيرة. وقد اضطر راكوسي إلى الفرار مرة أخرى إلى الاتحاد السوفيتي في أعقاب هذه الأحداث ولم يَعُد إلى المجر حتى بعد قمع الانتفاضة إلا قبل وفاته بقليل. وقد طُرد من الحزب الشيوعي عام ١٩٦٢.