هو على أمر دين، ومع هذا يا أمير المؤمنين، فإن فيه مصلى علي بْن أبي طالب صلوات الله عليه، قَالَ: هيهات يا خالد! أبيت إلا الميل إلى أصحابك العجم! وأمر أن ينقض القصر الأبيض، فنقضت ناحية منه، وحمل نقضه، فنظر في مقدار ما يلزمهم للنقض والحمل فوجدوا ذلك أكثر من ثمن الجديد لو عمل، فرفع ذلك إلى المنصور، فدعا بخالد بْن برمك، فأعلمه ما يلزمهم في نقضه وحمله، وقال: ما ترى؟ قَالَ: يا أمير المؤمنين، قد كنت ارى قبل الا تفعل، فاما إذ فعلت فإني أرى أن تهدم الآن حتى تلحق بقواعده، لئلا يقال: إنك قد عجزت عن هدمه فأعرض المنصور عن ذلك، وأمر الا يهدم فقال موسى بْن داود المهندس: قَالَ لي المأمون- وحدثني بهذا الحديث: يا موسى إذا بنيت لي بناء فاجعله ما يعجز عن هدمه ليبقى طلله ورسمه وذكر أن أبا جعفر احتاج إلى الأبواب للمدينة، فزعم أبو عبد الرحمن الهماني أن سليمان بْن داود كان بنى مدينة بالقرب من موضع بناء الحجاج واسطا يقال لها الزندورد، واتخذت له الشياطين لها خمسة أبواب من حديد لا يمكن الناس اليوم عمل مثلها، فنصبها عليها، فلم تزل عليها الى ان بنى الحجاج واسطا، وخربت تلك المدينة، فنقل الحجاج أبوابها فصيرها على مدينته بواسط، فلما بنى أبو جعفر المدينة أخذ تلك الأبواب فنصبها على المدينة، فهي عليها إلى اليوم وللمدينة ثمانية أبواب: أربعة داخلة وأربعة خارجة، فصار على الداخلة أربعة أبواب من هذه الخمسة، وعلى باب القصر الخارج الخامس منها، وصير على باب خراسان الخارج بابا جيء به من الشام من عمل الفراعنة، وصير على باب الكوفة الخارج بابا جيء به من الكوفة، كان عمله خالد بْن عبد الله القسري، وأمر باتخاذ باب لباب الشام، فعمل ببغداد، فهو أضعف الأبواب كلها وبنيت المدينة مدورة لئلا يكون الملك إذا نزل وسطها إلى موضع منها أقرب منه إلى موضع، وجعل أبوابها أربعة، على تدبير العساكر في الحروب، وعمل لها سورين، فالسور الداخل أطول من السور الخارج،