يحيى في منزل ابن نوح صاحب الطراز، ونزل محمد بْن خالد مع المأمون بالعمر مع الرشيد، قَالَ: وخلا الرشيد بالفضل ليلا، ثم خلع عليه وقلده، وأمره أن ينصرف مع محمد الأمين، ودعا بموسى بْن يحيى فرضي عنه وكان غضب عليه بالحيرة في بدأته، لأن علي بْن عيسى بْن ماهان اتهمه عند الرشيد في أمر خراسان وأعلمه طاعة أهلها له، ومحبتهم إياه، وأنه يكاتبهم ويعمل على الانسلال إليهم والوثوب به معهم، فوقر ذلك في نفس الرشيد عليه وأوحشه منه، وكان موسى أحد الفرسان الشجعان، فلما قدح علي بْن عيسى فيه أسرع ذلك في الرشيد، وعمل فيه القليل منه، ثم ركب موسى دين، واختفى من غرمائه، فتوهم الرشيد أنه صار إلى خراسان، كما قيل له، فلما صار الى الحيرة في هذه الحجة وافاه موسى من بغداد، فحبسه الرشيد عند العباس بْن موسى بالكوفة، فكان ذلك أول ثلمة ثلموا بها، فركبت أم الفضل بْن يحيى في أمره، ولم يكن يردها في شيء، فقال: يضمنه أبوه فقد رفع إلي فيه، فضمنه يحيى ودفعه إليه، ثم رضي عنه، وخلع عليه، وكان الرشيد قد عتب على الفضل ابن يحيى، وثقل مكانه عليه لتركه الشرب معه، فكان الفضل يقول: لو علمت أن الماء ينقص من مروءتى ما شربته، وكان مشغوفا بالسماع قَالَ:

وكان جعفر يدخل في منادمة الرشيد، حتى كان أبوه ينهاه عن منادمته، ويأمره بترك الإنس به، فيترك أمر أبيه، ويدخل معه فيما يدعوه إليه وذكر عن سعيد بْن هريم أن يحيى كتب إلى جعفر حين أعيته حيلته فيه: إني إنما أهملتك ليعثر الزمان بك عثرة تعرف بها أمرك، وإن كنت لأخشى أن تكون التي لا شوى لها قَالَ: وقد كان يحيى قَالَ للرشيد:

يا أمير المؤمنين، أنا والله أكره مداخلة جعفر معك، ولست آمن أن ترجع العاقبة في ذلك على منك، فلو اعفيته واقتصرت به على ما يتولاه من جسيم أعمالك، كان ذلك واقعا بموافقتي، وآمن لك علي قَالَ الرشيد: يا أبت ليس بك هذا، ولكنك إنما تريد أن تقدم عليه الفضل