ويستريح لنفسه واستأذنت المنصور له أن يذهب إلى أبي مسلم فأذن له وقال له سلم عليه وقل له إنا بالأشواق إليه فسار ذلك الرجل وهو سلمة بن فلان إلى أبي مسلم فأخبره بإشتياق الخليفة إليه فسره ذلك وانشرح وانما هو وغرور ومكر به فلما سمع أبو مسلم بذلك عجل السير إلى منيته فلما قرب من المدائن أمر الخليفة القواد والأمراء أن يتلقوه وكان دخوله على المنصور من آخر ذلك اليوم وقد أشار أبو أيوب على المنصور أن يؤخر قتله في ساعته هذه إلى الغد فقبل ذلك منه فلما دخل أبو مسلم على المنصور من العشى أظهر له الكرامة والتعظيم ثم قال اذهب فأرح نفسك وادخل الحمام فإذا كان الغد فأتني فخرج من عنده وجاءه الناس يسلمون عليه فلما كان الغد طلب الخليفة بعض الأمراء فقال له كيف بلائي عندك فقال والله يا أمير المؤمنين لو أمرتني أن أقتل نفسي لقتلتها قال فكيف بك لو أمرتك بقتل أبي مسلم قال فوجم الساعة ثم قال له أبو أيوب مالك لا تتكلم فقال قوله ضعيفه أقتله ثم اختار له من عيون الحرس أربعه فحرضهم على قتله وقال لهم كونوا من وراء الرواق فإذا صفقت بيدي فاخرجوا عليه فاقتلوه ثم أرسل المنصور إلى ابي مسلم رسلا تترى يتبع بعضهم بعضا فأقبل أبو مسلم فدخل دار الخلافة ثم دخل على الخليفة وهو يبتسم فلما وقف بين يديه جعل المنصور يعاتبه في الذي صنع واحدة واحدة فيعتذر عن ذلك كله ثم قال يا امير المؤمنين أرجو أن تكون نفسك قد طابت علي فقال المنصور أما والله ما زادني هذا الا غيظا عليك ثم ضرب باحدى يديه على الأخرى فخرج عثمان واصحابه فضربوه بالسيوف حتى قتلوه ولفوه في عباءة ثم أمر بإلقائه في دجله وكان آخر العهد به وكان مقتله في يوم الأبعاء لأربع بقين من شعبان سنة سبع وثلاثين ومائة .
وكان من جملة ما عاتبه به المنصور ان قال كتبت إلى مرات تبدأ بنفسك وأرسلت تخطب عمتي أمينة وتزعم أنك إبن سليط بن عبدالله بن عباس إلى غير ذلك فقال أبو مسلم يا أمير المؤمنين لايقال لي هذا وقد سعيت في أمركم بما علمه كل احد فقال ويلك لو قامت في ذلك أمة سوداء لأتمه الله لجدنا وحيطتنا ثم قال والله لاقتلنك فقال أستبقي يا أميرالمؤمنين لأعدائك فقال وأي عدو لي أعدى منك ثم أمر بقتله كما تقدم فقال له بعض الأمراء يا أميرالمؤمنين الآن صرت خليفة ويقال إن المنصور أنشد عند ذلك ... فألقت عصاها واستقر بها النوى ... كما قر عينا بالإياب المسافر ... .
وذكر إبن خلكان أن المنصور لما أراد قتل أبي مسلم تحير في أمره هل يستشير احد في ذلك أو يستبد هو به لئلا يشيع وينتشر ثم استشار واحدا من نصحاء أصحابه فقال يا أمير المؤمنين