لأن الحديث جاء في ذم الكلام وقد أكد الشافعي في هذا حتى قال : رأيي في أصحاب الكلام أن يحملوا على البغال ويطاف بهم . وصنف ابن الجوزي أبو الفرج " السهم المصيب في بيان تعصب الخطيب " وقال ابن طاهر : سألت أبا القاسم هبة الله الشيرازي قلت : هل كان أبو بكر الخطيب كتصانيفه في الحفظ ؟ فقال : لا كنا إذا سألناه عن شيء أجابنا بعد أيام وإن ألححنا عليه غضب وكانت له بادرة وحشة وأما تصانيفه فمصنوعة مهذبة ولم يكن حفظه على قدر تصانيفه . قال ياقوت في " معجم الأدباء " ونقلت من خط أبي سعد السمعاني ومنتخبه لمعجم شيوخ عبد العزيز بن محمد النخشبي قال : ومنهم أبو بكر أحمد بن علي بن ثابت الخطيب يخطب في بعض قرى بغداذ حافظ فهم ولكنه كان يتهم بشرب النبيذ كنت كلما لقيته بدأني بالسلام فلقيته في بعض الأيام فلم يسلم علي ولقيته شبه المتغير فلما جاز عني لحقني بعض أصحابنا وقال لي : لقيت أبا بكر الخطيب سكران فقلت له : لقد لقيته متغيراً واستنكرت حاله ولم أعلم أنه سكران ولعله قد تاب إن شاء الله . قال السمعاني : ولم يذكر عن الخطيب C هذا إلا النخشبي مع أني لحقت جماعة من أصحابه كثيرة . وقال في المذيل : والخطيب في درجة القدماء من الحفاظ والأئمة الكبار كيحيى بن معين وعلي بن المديني وأحمد بن أبي خيثمة وطبقتهم وكان علامة العصر اكتسى به هذا الشأن غضارة وبهجة ونضارة وكان مهيباً وقوراً نبيلاً خطيراً ثقة صدوقاً متحرياً حجة فيما يصنفه ويقوله وينقله ويجمعه حسن النقل والخط كثير الشكل والضبط قارئاً للحديث فصيحاً وكن في درجة الكمال والرتبة العليا خلقاً وخلقاً وهيئة ومنظراً انتهى إليه معرفة علم الحديث وحفظه وختم به الحفاظ رحمهم الله بدأ بسماع الحديث سنة ثلاث وأربع مائة وقد بلغ إحدى عشرة سنة من عمره قال : وسمعت بعض مشايخي يقول : دخل بعض الأكابر جامع دمشق أو صور ورأى حلقة عظيمة للخطيب والمجلس غاص يسمعون منه الحديث فصعد إلى جانبه وكأنه استكثر الجمع فقال له الخطيب : القعود في جامع المنصور مع نفر يسير أحب إلي من هذا انتهى . وحدث الخطيب وله عشرون سنة حين قدم من البصرة وكتب عنه شيخه أبو القاسم الأزهري أشياء أدخلها في تصانيفه وسأله الخطيب فقرأها عليه وذلك سنة اثنتي عشرة وأربع مائة . قال أبو زكرياء يحيى بن علي الخطيب اللغوي : لما دخلت دمشق سنة ست وخمسين كان بها إذ ذاك الإمام أبو بكر الحافظ وكانت له حلقة كبيرة يجتمعون في بكرة كل يوم فيقرأ لهم وكنت أقرأ عليه الكتب الأدبية المسموعة وكان إذا مر في كتابه شيء يحتاج إلى إصلاح يصلحه ويقول : أنت مني الرواية وأنا أريد منك الدراية قال : وكان إذا قرأ الحديث في جامع دمشق يسمع صوته في آخر الجامع وكان يقرأ معها صحيحاً .
وحدث محمد بن طاهر المقدسي سمعت أبا القاسم مكي بن عبد السلام الرملي يقول : سبب خروج أبي بكر الخطيب من دمشق إلى صور أنه كان يختلف إليه صبي صبيح الوجه وقد سماه مكي أنا نكبت عن ذكره فتكلم الناس في ذلك وكان أمير البلدة رافضياً متعصباً فبلغته القصة فجعل ذلك سبباً للفتك به فأمر صاحب الشرطة أن يأخذه بالليل ويقتله وكان صاحب الشرطة من أهل السنة فقصده صاحب الشرطة تلك الليلة مع جماعة من الشرطة من أصحابه ولم يمكنه أن يخالف الأمير وأخذه وقال له : أمرت بكذا وكذا ولا أجد لك حيلة إلا أنني أعبر بك على دار الشريف ابن أبي الحسن العلوي فإذا حاذيت الباب فادخل الدار فإني أرجع إلى الأمير وأخبره بالقصة ففعل ذلك ودخل دار الشريف وأعلم صاحب الشرطة الأمير فبعث الأمير إلى الشريف أن يبعث به فقال الشريف : أيها الأمير أنت تعرف اعتقادي فيه وفي أمثاله ولكن ليس لي في قتله مصلحة . هذا الرجل مشهور بالعراق وإن قتلته قتل به جماعة من الشيعة بالعراق وخربت المشاهد . قال : فما ترى ؟ قال : أرى أن يخرج من بلدك فأمر به فخرج إلى صور وبقي بها مدة إلى أن عاد إلى بغداذ وأقام بها إلى أن مات