جميعا المدينة ورسول الله يبني المسجد وأبياتا حول المسجد فأنزلهم في بيت لحارثة بن النعمان وبنى رسول الله لعائشة بيتها الذي دفن فيه رسول الله صلى الله عليه وسلّم وجعل بابا في المسجد وجاه باب عائشة يخرج منه إلى الصلاة وكان إذا اعتكف يخرج رأسه من المسجد إلى عتبة عائشة فتغسل رأسه وهي حائض أخبرنا محمد بن عمر قال حدثني إبراهيم بن شعيب عن يحيى بن شبل عن أبي جعفر قال لما قدم رسول الله صلى الله عليه وسلّم المدينة وتزوج علي فاطمة وأراد أن يبني بها قال له رسول الله صلى الله عليه وسلّم اطلب منزلا فطلب علي منزلا فأصابه مستأخرا عن النبي قليلا فبنى بها فيه فجاء النبي صلى الله عليه وسلّم إليها قال إني أريد أن أحولك إلي فقالت لرسول الله فكلم حارثة بن النعمان أن يتحول عني تريد أن يتحول لي عن منزله فقال رسول الله قد تحول حارثة عنا حتى قد استحييت فبلغ حارثة فتحول وجاء إلى النبي صلى الله عليه وسلّم فقال يا رسول الله إنه بلغني أنك تحول فاطمة إليك وهذه منازلي وهي أسقب بيوت بني النجار بك وإنما أنا ومالي لله ولرسوله والله يا رسول الله للذي تأخذ مني أحب إلي من الذي تدع فقال رسول الله صدقت بارك الله عليك فحولها إلى بيت حارثة قال محمد بن عمر وكانت لحارثة بن النعمان منازل قرب مسجد رسول الله صلى الله عليه وسلّم وحوله وكلما أحدث رسول الله أهلا تحول له حارثة بن النعمان عن منزله حتى صارت منازله كلها لرسول الله وأزواجه أخبرنا محمد بن عمر حدثنا عبد الله بن يزيد الهذلي قال رأيت منازل أزواج رسول الله حين هدمها عمر بن عبد العزيز وهو أمير المدينة في خلافة الوليد بن عبد الملك وزادها في المسجد كانت بيوتا باللبن ولها حجر