شخصية الشيخ "محمد رفعت" كانت ميالة إلى الانزواء، ولست أقول ذلك على سبيل مقارنته بغيره من قراء القرآن في عصره، الذين كانوا ميالين إلى الظهور في المجال العام، وتوطيد العلاقة بينهم وبين نجوم المجتمع والفن والسياسة والصحافة وغير ذلك، وإنما على سبيل وصف الشخصية.

فبتركيبته الخاصة كان الشيخ "محمد رفعت" لا يميل إلى الاحتكاك الزائد بالآخرين، خصوصاً من أفراد النخبة التي تألقت في عصره، وكان يفضل عليهم بسطاء البشر. قد يتسرع البعض ويتصور أن عزوف الشيخ رفعت عن الظهور العام مرده ما عاناه نتيجة فقد البصر، لكن المسألة لم تكن كذلك، فالشيخ "علي محمود" كان مثله كفيفاً، ورغم ذك كان شديد الاحتكاك بنخبة المجتمع في عصره، المسألة عند الشيخ رفعت كانت زهداً في المباهج التقليدية في الحياة لدى شخص باتت كل بهجته وفرحه وأنسه وشجنه في القرآن ومع القرآن.

تزوج الشيخ محمد رفعت من سيدة بسيطة مثله أوائل القرن العشرين، بعد أن ناهز العشرين من عمره بقليل، وأنجب منها خمسة أبناء، أكبرهم -كما يشير "عبده فراج" في حواره مع صاحب كتاب "أصوات من نور"- محمود، وولد عام 1906، وتوفي صغيراً، ثم محمد عام 1909، ثم أحمد عام 1911، ثم ابنته عام 1914، وقد تزوجها الدكتور عبده فراج، وأصغر أبنائه هو حسين وولد عام 1919.

ويحكي نجله الأصغر "حسين رفعت" في حوار إذاعي له مع الإعلامي "عمر بطيشة" أن الابن الأكبر محمد كان يقوم في حياة أبيه مقام السكرتير، الذي يرتب له مواعيده ومشاركاته في تلاوة القرآن الكريم في المناسبات المختلفة، بالإضافة إلى ترتيب بعض الحوارات التي يجريها الشيخ مع الصحف، وأشار النجل الأصغر في هذا السياق إلى حوار شهير، أجرته مع الشيخ رفعت مجلة "الاتنين والدنيا"، ويشتهر مع هذا الحوار الريبورتاج أو التحقيق الصحفي الذي أعدته مجلة المصور أواخر أيام الشيخ، ووصفت فيه ما آل إليه بعد إصابته بسرطان الحنجرة.

ويحكي المرحوم "حسين رفعت" أن دوره الأساسي في حياة أبيه ارتبط بقراءة الكتب، فقد كان الشيخ شغوفاً بالعلم والمعرفة، وكان دائب الطلب من أبنائه أن يقرأوا له ما يقتنيه من كتب جديدة في التفسير والتاريخ والفكر الإسلامي.

وعندما كان الشيخ لا يجد من لا يقرأ له، كان يأوي إلى غرفته ويتفرغ لسماع أسطوانات مشاهير الموسيقى العالمية، مثل بيتهوفن وموتسارت وفجنر، بالإضافة إلى أسطوانات منيرة المهدية، وبعض الأسطوانات التركية.

وفي الحوار الوحيد الذي أجرته مجلة الاثنين والدنيا مع الشيخ محمد رفعت، وصف أفراد أسرته طقوسه اليومية داخل البيت الذي عاش فيه بمنطقة "البغالة" بحي السيدة زينب. فهو يستيقظ مبكرا، ويصلى الصبح حاضرا، ثم يشرب القهوة، ويجلس بين يدى حلاقه، ثم ينتقل إلى حجرة الاستقبال، حيث يقبل عليه أصدقاؤه وزواره، فيتحدث معهم، ولايأكل الشيخ إلا مرة واحدة فى اليوم.

ومن أحب الأوقات إليه الوقت الذى يقضيه بجانب فونوغراف أثرى مستمعا إلى المطربين والملحنين، والفونغراف عمره 37 عاما أى يعود إلى حوالى عام 1903، وأن من أكثر من يستمع إليهم: الشيخ سيد درويش، وعبده الحامولى، وصالح عبد الحى.