بل كان ابن الزبير قد بناها على قواعد إبراهيم والصقها بالأرض وجعل لها بابين كما أخبرته عائشة عن النبي صلى الله عليه وسلم أنه قال: "لولا قومك حديثوا عهد بجاهلية لنقضت الكعبة وألصقتها بالأرض وجعلت لها بابين بابا يدخل الناس منه وبابا يخرجون منه" ووصف لعائشة من الحجر ما هو من البيت قريبا من سبعة ازرع موضع انحناء الحجر وكانت القريش قد بنتها فقصرت بها النفقة فتركوا ما تركوه من الحجر ورفعوها.

فلما ولي الزبير شاور الناس في ذلك فمنهم من رأى ذلك مصلحة ومنهم من أشار عليه بأن لا يفعل وقال: "هذه الكعبة هي التي كانت على عهد النبي صلى الله عليه وسلم وعليها اسلم الناس" وهذا كان رأي ابن عباس وطائفة.

والفقهاء متنازعون في هذه المسألة منهم من يرى إقرارها كقول ابن عباس وهو قول مالك وغيره ويقال أن الرشيد شاوره أن يفعل كما فعل ابن الزبير فأشار عليه أن لا يفعل ورأى أن هذا يفضي إلى انتقاض حرمة الكعبة باختلاف الملوك في ذلك هذا يهدمها ليبنيها كما فعل ابن الزبير وهذا يرى أن يعيدها