تغطى جميع القبائح فهي تستر تلك الخصلة التي كانت في الفضل وقد وهب الفضل لطباخه مائة ألف درهم فعابه أبوه على ذلك فقال يا أبت إن هذا كان يصحبنى في العسر واليسر والعيش الخشن واستمر معى في هذا الحال فأحسن صحبتي وقد قال بعض الشعراء ... إن الكرام إذا ما أيسروا ذكروا ... من كان يعتادهم في المنزل الخشن ... .
ووهب يوما لبعض الأدباء عشرة آلاف دينار فبكى الرجل فقال له مم تبكي أستقللتها قال لا والله ولكني أبكي أن الأرض تأكل مثلك أو تواري مثلك .
وقال على بن الجهم عن أبيه أصبحت يوما لا أملك شيئا حتى ولا علف الدابة فقصدت الفضل ابن يحي فإذا هو قد أقبل من دار الخلافة في موكب من الناس فلما رآني رحب بي وقال هلم فسرت معه فلما كان ببعض الطريق سمع غلاما يدعو جارية من دار وإذا هو يدعوها بإسم جارية له يحبها فانزعج لذلك وشكا إلى ما لقي من ذلك فقلت أصابك ما أصحاب أخي بنى عامر حيث يقول ... وداع دعا إذ نحن بالخيف من منى ... فهيج أحزان الفؤاد ولا يدري ... دعا بإسم ليلى غيرها وكأنما ... أطار بليلى طائرا كان في صدري ... .
فقال اكتب لى هذين البيتين قال فذهبت إلى بقال فرهنت عنده خاتمي على ثمن ورقة وكتبتهما له فأخذهما وقال انطلق راشدا فرجعت إلى منزلى فقال لي غلامي هات خاتمك حتى نرهنه على طعام لنا وعلف لللدابة فقلت إني رهنته فما أمسينا حتى أرسل الى الفضل بثلاثين ألفا من الذهب وعشرة آلاف من الورق أجراه على كل شهر وأسلفني شهرا .
ودخل على الفضل يوما بعض الأكابر فأكرمه الفضل وأجلسه معه على السرير فشكا إليه الرجل دينا عليه وسأله أن يكلم في ذلك امير المؤمنين فقال نعم وكم دينك قال ثلاثمائة ألف درهم فخرج من عنده وهو مهموم لضعف رده عليه ثم مال الى بعض إخوانه فاستراح عنده ثم رجع إلى منزله فإذا المال قد سبقه إلى داره وما أحسن ما قال فيه بعض الشعراء ... لك الفضل يا فضل بن يحي بن خالد ... وما كل من يدعى بفضل له فضل ... رأى الله فضلا منك في الناس واسعا ... فسماك فضلا فالتقى الاسم والفعل ... .
وقد كان الفضل أكبر رتبة عند الرشيد من جعفر وكان جعفر أحظى عند ا لرشيد منه وأخص وقد ولى الفضل أعمالا كبارا منها نيابة خراسان وغيرها ولما قتل الرشيد البرامكة وحبسهم جلد الفضل هذا مائة سوط وخلده في الحبس حتى مات في هذه السنة قبل الرشيد بشهور خمسة في الرقة وصلى عليه بالقصر الذي مات فيه أصحابه ثم أخرجت جنازته فصلى عليها الناس ودفن هناك وله خمس وأربعون سنة وكان سبب موته ثقل أصابة في لسانه اشتد به يوم الخميس ويوم الجمعة وتوفي