مع هدم هيكل سليمان قام زروبابل (أحد كبار الكهنة الذين سمح لهم الإمبراطور الفارسي قورش بالعودة إلى فلسطين) بإعادة بناء الهيكل في الفترة ٥٢٠ ـ ٥١٥ ق. م، أي في أربعة أعوام (في حين استغرق بناء هيكل سليمان سبعة أعوام) ، ويُسمَّى هذا الهيكل «هيكل زروبابل» . ويذكر العهد القديم أن الهيكل الثاني بُني بأمر من إله يسرائيل، وبأمر أباطرة الفرس: قورش ودارا الأول وأرتحشتا (عزرا ٦/١٤) . ولذا، فقد كانت تُقدَّم فيه قرابين يومية لصالح حامي صهيون الوثني. وكان مرسوماً على مدخله خريطة لمدينة سوسة عاصمة الإمبراطورية الفارسية. ولم يكن هذا الهيكل (هيكل زروبابل) في عظمة هيكل سليمان. ولا تُوجَد إشارات كثيرة إلى شكله المعماري ولا إلى تقسيمه، ولكن معظم الباحثين يميلون إلى القول بأنه لم يكن يختلف كثيراً عن الهيكل الأول في بنيته، ويعود هذا إلى أنه حينما هاجم نبوختنصر هذا الهيكل، فإنه لم يهدمه وإنما نهبه وحرقه. ولكن لم تحترق سوى الأجزاء الخشبية كالسقف والبوابات الخشبية وكسوة الحوائط الخشبية. أما الهيكل المعماري، فقد بقي كما هو، فاستخدمه العائدون من بابل دون تغيير. أما فيما يتصل بمحتويات الهيكل، فنحن نعرف أن قدس الأقداس كان فارغاً تماماً لأن سفينة العهد قد اختفت، ولم تكن توجد سوى صخرة عالية يضع الكاهن الأعظم عليها المبخرة. وكان هيكل زرو بابل يضم أيضاً أواني هيكل سليمان الأخرى كالشمعدانات الذهبية ومائدة قربان الوجه ومذبح البخور.