ثم إنه إنما أدخلت الحجرة في المسجد في خلافة الوليد بن عبد الملك بعد موت عامة الصحابة الذين كانوا بالمدينة وكان من آخرهم موتًا جابر بن عبد الله وهو توفي في خلافة عبد الملك قبل خلافة الوليد فإنه توفي سنة بضع وسبعين والوليد تولى سنة بضع وثمانين وتوفي سنة بضع وتسعين، فكان بناء المسجد وإدخال الحجرة فيه فيما بين ذلك.

وقد ذكر أبو زيد عمر بن شبة النميري في كتاب أخبار المدينة، مدينة الرسول صلى الله عليه وسلم، عن أشياخه وعمن حدثوا عنه أن عمر بن عبد العزيز / لما كان نائبًا للوليد على المدينة في سنة إحدى وتسعين هدم المسجد وبناه بالحجارة المنقوشة المطابقة، وقصه وعمله بالفسيفساء وبالمرمر، وعمل سقفه بالساج وماء الذهب، وهدم حجرات أزواج النبي صلى الله عليه وسلم فأدخلها في المسجد