تسميته بالاصم ما حكاه أبو علي الدقاق أن امرأة جاءت تسأله عن مسألة فاتفق أنه خرج منها صوت ريح فخجلت المرأة فقال حاتم ارفعي صوتك وأراها أنه أصم فسرت المرأة بذلك وقالت أنه لم يسمع الصوت فغلب عليه هذا الاسم رحمة الله تعالى عليه ومنهم الحسن بن أحمد الكاتب من كبار مشايخ المصريين صحب أبا بكر المصري وأبا علي الروذباري وكان أوحد مشايخ وقته من كلامه روائح نسيم المحبة تفوح من المحبين وإن كتموها وتظهر عليهم دلائلها وإن أخفوها وتدل عليهم وإن ستروها وأنشدوا في هذا المعنى .
( إذا ما أسرت أنفس الناس ذكره ... تبينه فيهم ولم يتكلوا ) .
( تطيب به أنفاسهم فتذيعها ... وهل سر مسك أودع الريح يكتم ) ومن كلامه أيضا إذا انقطع العبد الى الله تعالى بالكلية فأول ما يفيده الاستغناء به عن الناس وقال صحبة الفساق داء ودواؤها مفارقتهم وقال اذا سكن الخوف في القلب لا ينطق اللسان بما لا يعنيه ومنهم سيدي جعفر بن نصر الخلدي يكنى بأبي محمد بغدادي المنشأ والمولد صحب الجنيد وانتمى اليه وحج قريبا من ستين حجة روي انه مر بمقبرة الشونيزية وامرأة على قبر تندب وتبكي بكاء بحرقة فقال لها مالك تبكين فقالت ثكلى ولدي فأنشأ يقول .
( يقولون ثكلى ومن لم يذق ... فراق الاحبة لم يثكل ) .
( لقد جرعتني ليالي الفراق ... شرابا أمر من الحنظل ) وروي أنه كان له فص فوقع منه يوما في الدجلة وكان عنده دعاء مجرب لرد الضالة اذا دعا به عادت فدعا به فوجد الفص في وسط أوراق كان يتفحصها وصورة الدعاء أن تقول يا جامع الناس ليوم لا ريب فيه اجمع علي ضالتي وقد روي أنه يقرأ قبله سورة الضحى
