قصره وكان على جارية يحبها في رمضان ثم ندم أشد ندم فسألتهم عن التوبة والكفارة فقال يحيى تكفر بصوم شهرين متتابعين فلما بادر يحيى بهذه الفتيا سكت الفقهاء حتى خرجوا فقال بعضهم له لم لم تفت بمذهب مالك بالتخيير فقال لو فتحنا له هذا الباب سهل عليه أن يطأ كل يوم ويعتق رقبة ولكن حملته على أصعب الأمور لئلا يعود .
وقال بعض المالكية إن يحيى ورى بهذا ورأى أنه لم يملك شيئا إذ هو مستغرق الذمة فلا عتق له ولا إطعام فلم يبق إلا الصيام انتهى .
ولما انفصل يحيى عن مالك ووصل إلى مصر رأى ابن القاسم يدون سماعه من مالك فنشط للرجوع إلى مالك ليسمع منه المسائل التي رأى ابن القاسم يدونها فرحل رحلة ثانية فألقى مالكا عليلا فأقام عنده إلى أن مات وحضر جنازته فعاد إلى ابن القاسم وسمع منه سماعه من مالك هكذا ذكره ابن الفرضي في تاريخه وهو مما يرد الحكاية المشهورة الآن بالمغرب أن يحيى سأل مالكا عن زكاة التين فقال له لا زكاة فيها فقال إنها تدخر عندنا ونذر إن وصل إلى الأندلس أن يرسل لمالك سفينة مملوءة تينا فلما وصل أرسلها فإذا مالك قد مات انتهى .
قال ابن الفرضي ولما انصرف يحيى إلى الأندلس كان إمام وقته وواحد بلاده وكان ممن اتهم بالهيج في وقعة الربض المشهورة ففر إلى طليطلة ثم استأمن فكتب له الأمير الحكم أمانا وانصرف إلى قرطبة .
وقيل لم يعط أحد من أهل الأندلس منذ دخلها الإسلام ما أعطى يحيى من الحظوة وعظم القدر وجلالة الذكر