منذ عام 1918 أصبح التزاحم على مسجد فاضل باشا للاستماع إلى الشيخ محمد رفعت مشهداً معتاداً لدى سكان «درب الجماميز» الذى يقبع به المسجد. والمسجد تم إنشاؤه فى عصر الناصر قلاوون، بناه الأمير بشتاك الناصرى، واسمه فى الأصل «مسجد بشتاك»، وأطلق عليه اسم «مسجد فاضل» بعد أن دفن فيه الأمير مصطفى فاضل، وذلك بقرار فوقى من والدته «ألفت هانم»، وقد توفى عام 1875، أى قبل ميلاد الشيخ محمد رفعت بسبع سنوات.

عرف هذا المكان نوعاً من الصخب الهادئ، فقد كان محبو الشيخ يتزاحمون داخل المسجد وحوله، والمحظوظ منهم من يجد لنفسه مكاناً بالقرب من الموضع الذى يجلس فيه الشيخ ليقرأ القرآن الكريم. يحكى الشيخ الشعراوى أنه كان يذهب مثل غيره من محبى الشيخ للاستماع إليه، فيجد أناساً سبقوه، منذ الفجر، وكان الواحد منهم يذهب ليصلى الفجر بمسجد فاضل باشا، ويظل ماكثاً فى مكانه بالقرب من الموضع الذى يقرأ فيه الشيخ حتى يأتى، ليذوب معه فى آيات الذكر الحكيم. كان الصخب يحدث وقت التزاحم لإدراك مكان، ولكن ما إن يبدأ الشيخ فى التلاوة بصوته الرقراق حتى يخيم الصمت والهدوء، ليدخل الجميع فى «حالة الأسر».

على المستوى الشخصى أذكر أننى كنت أمرّ بعد سنين طويلة من وفاة الشيخ محمد رفعت من شارع «درب الجماميز»، حيث يقبع مسجد فاضل باشا، فأجد -ويا للعجب- أن هذه البقعة لم تزل تنعم بهدوء عجيب ويخيم عليها صمت قدسى، وكأن صوت الشيخ ما زال يتردد، وتستمع له الخلائق، وأظن أن حالة الهدوء العجيب والصمت القدسى ما زالت تظلل المكان حتى اللحظة.

منذ اللحظة الأولى فرض صوت الشيخ محمد رفعت نفسه، يصف شكرى القاضى فى كتابه: «عباقرة التلاوة فى القرن العشرين» تلاواته داخل مسجد فاضل قائلاً: «لم يكن الشيخ يحاول أن يعلو بصوته أو يرتفع به، ومع ذلك كان كل من فى المسجد وخارجه يستمعون إليه، ولا يفوتهم حرف واحد من تلاوته، ويا لها من تلاوات تبلورت ملامحها، ولم يكن الفتى الضرير قد جاوز العشرين من عمره بعد. فقد اجتمع فى صوته كما يقول علماء الموسيقى كل ميراث الحنجرة العربية من الأنغام والأوتار الصوتية الخلاقة، فضلاً عن استيعابه المذهل لمعانى القرآن الكريم».. وقد توجه «القاضى» بسؤال لأحد معاصرى الشيخ ومستمعيه -وهو الأستاذ حافظ محمود شيخ الصحفيين- ليصف له إحساسه بصوت الشيخ حين كان يسمعه من مسجد فاضل باشا، فرد عليه قائلاً: «عندما انتقلنا إلى منزل قريب من مسجد فاضل باشا وسمعت صوت الشيخ محمد رفعت ينساب من منافذ المسجد انسياباً رقيقاً، فيه نغمات حسبتها أول الأمر صوت الكمان الصادر عن سكان التكية المجاورة للمسجد.. أنغام صادرة من فم إنسان تحسبه وهو يردد الآيات ملاكاً يلبس عمامة بيضاء».

ويأخذك الأستاذ محمود السعدنى وهو يصف صوت الشيخ محمد رفعت من السماء التى حلّق بنا فيها الأستاذ حافظ محمود ليهبط إلى الأرض ويقول إن صوت «رفعت» هو «صوت الشعب». فمن أصوات الشحاذين والمداحين والندابين والباعة الجائلين استمد المرحوم الشيخ محمد رفعت صوته، فخرج مشحوناً بالأمل والألم، مرتعشاً بالخوف والقلق، عنيفاً عنف المعارك التى خاضها الشعب، عريضاً عرض الحياة التى يتمناها، ولذلك كتب لهذا الصوت البقاء.