قال حدثني من سمعه وقد لعن عليا صلوات الله عليه وسلامه فقال في ذكره علي بن أبي طالب بن عم محمد بن عبد الله بن عبد المطلب وزوج ابنته فاطمة وأبو الحسن والحسين هل كنيت اللهم العن خالدا واخزه وجدد على روحه العذاب .
وقال أبو عبيدة ذكر إسماعيل بن خالد بن عبد الله القسري بني أمية عند أبي العباس السفاح في دولة بني هاشم فذمهم وسبهم وقال له حماس الشاعر مولى عثمان بن عفان يا أمير المؤمنين أيسب بني عمك وعمالهم وعماتك رجل اجتمع هو والخريت في نسب أن بني أمية لحمك ودمك فكلهم ولا تؤكلهم فقال له صدقت وأمسك إسماعيل فلم يحر جوابا .
سليمان أمر له بمائة سوط .
وقال ابن الكلبي كان خالد بن عبد الله أميرا على مكة فأمر رأس الحجبة أن يفتح له الباب وهو ينظر فأبى فضربه مائة سوط فخرج الشيبي إلى سليمان بن عبد الملك يشكوه فصادف الفرزدق بالباب فاسترفده فلما أذن للناس ودخلا شكا الشيبي ما لحقه من خالد ووثب الفرزدق فأنشأ يقول .
( سلُوا خالداً لا أكرم الله خالداً ... متى ولِيَتْ قسرٌ قريشاً تَدينُها ) .
( أَقْبلَ رسول الله أم ذاك بعدَه ... فتلك قريشٌ قد أغثَّ سمينُها )