في المسجد وبنيانه، فاشترى ما حواليه من الشرق والغرب والشام، فلما خلص إلى القبلة قال له عبيد الله بن عبد الله بن عمر بن الخطاب: لسنا نبيعه، هو من حق حفصة، وقد كان النبي صلى الله عليه وسلم يسكنها، فقال عمر بن عبد العزيز: ما أنا بتارككم أو أدخلها في المسجد. فلما كثر الكلام بينهما قال له عمر: أجعل لكم في المسجد بابًا تدخلون منه وأعطيكم دار الرقيق مكان هذه الطريق وما بقي من الدار فهو لكم، فقبلوا، فأخرج بابهم من المسجد، وهي الخوخة التي في المسجد تخرج من دار حفصة بنت عمر، وأعطاهم دار الرقيق، وقدم الجدار في موضعه اليوم وزاد من الشرق ما بين الأسطوانة المربعة إلى جدار المسجد اليوم، وهو عشرة أساطين من مربعة القبر إلى الرحبة إلى الشام، ومده من الغرب أسطوانتين، وأدخل فيه حجرات أزواج النبي صلى الله عليه وسلم، وأدخل فيه دور عبد الرحمن بن عوف الثلاث التي يقال لهن القرائن، قال: فلما قدم الوليد حاجًّا جعل يطوف في المسجد وينظر إليه ويقول: هاهنا، ومعه أبان بن عثمان فلما استنفد / الوليد النظر إلى المسجد التفت إلى أبان بن عثمان فقال: أين بناؤنا من بنائكم؟ فقال أبان: إنا بنيناه بناء المساجد، وبنيتموه بناء الكنائس.

قال: ومكث عمر في بنائه ثلاث سنين.