عاني الشيخ "محمد رفعت" -خلال السنوات الثمان الأخيرة من عمره- من روم في الأحبال الصوتية، كان يسبب له (الزغطة)، واحتباس الصوت. وفي عدد خاص من مجلة "المصور" عن الشيخ جاء أن صحته -رحمه الله- تدهورت خلال هذه الفترة، وأصيب بأمراض أخرى، فارتفع ضغط دمه، وأصيب بالتهاب رئوي حاد.

وظني أن كل هذه الأمراض تكالبت عليه في النهايات بسبب سوء حالته النفسية، وذلك لسببين، أولهما بعده عن تلاوة القرآن الكريم، وكان يجد في ذلك نفسه وهو الرجل الذي وهب حياته لخدمة القرآن الكريم، وثانيهما سوء الحالة المعيشية والتي غذاها تنكر البعض له، ومن بينهم المسئولين عن الإذاعة المصرية.

كان الشيخ شديد التعلق بابنته، وقد سبق واشترط على الدكتور "عبده فراج"، حين خطبها منه، أن يعيشا معه في منزله أسبوعاً، ويبيت هو في منزلهما أسبوعاً، وقد كان عند ابنته حين وافته المنية، ومكث عندها ثلاثة أيام قبل وفاته، قضاها في عزلة كاملة عن كل من حوله، وانطلق يستغفر ربه ويناجيه، وفجر الليلة الثالثة دخلت عليه ابنته لتوقظه لأداء صلاة الفجر، فوجدت أن الله استرد أمانته، وأن روحه صعدت إلى بارئها. وكانت وفاته -كما ولد- يوم 9 مايو عام 1950، الموافق 22 رجب 1369 هجرية (كان مولده يوم اثنين ووفاته يوم ثلاثاء). يقول محمود السعدني في كتابه ألحان السماء: "أقسم أحد كبار الجزارين أن جسد العبقري لن يدفن إلا في المقبرة التي أعدها له، وكان قد أعد في صمت وبلا ضجيج، مقبرة عظيمة، تليق بعظمة الراحل الكريم، وأصر الجزار الطيب على أن يحمل نعشه إلى مثواه الأخير. ووفد على مأتم الشيخ آلاف من مختلف أنحاء البلاد لم تكن لهم صلات بالشيخ إلا صلة التقدير والإعجاب".

ويعني ذلك أن محبي الشيخ من البسطاء هم من شيعوه إلى مثواه الأخير، وحضروا مأتمه، وحزنوا على فقده، أما المشاهير، فلم أجد ما يدل على أنهم حضروا جنازته، رغم أن بعضهم تحدث عنه وعن عبقريته وعلاقتهم به، وكان ذلك بعد رحيله. فرحيل الشيخ شكل ميلاداً جديداً له، إذ لم يستطع أي من منافسيه أن يحظى بالمكان أو المكانة التي شغلها، أو يسد الفراغ الذي تركه في عالم التلاوة، فقد ظل صوته متفرداً من وجهة نظر العديد من الأجيال التي لم تعاصره، هؤلاء الذين سمعوه وسمعوا غيره من قراء القرآن الكريم ممن عاصروه، فاتفقوا على الشيخ "رفعت"، واختلفوا على غيره، وبات بالنسبة للكثيرين رمزاً لكل ما هو مقدس في حياة المسلمين، وعلى رأسها شهر رمضان، وأنوار الفجر الجديد الذي يطل على أبناء الحياة في كل يوم. حدث ذلك بعد أن سكت الصوت الصادح بكتاب الله بصوت لم يكن له مثيلاً من قبله، ولا من بعده. هدأ الجسد المتعب وسكنت الجراحات أخيراً، وها هي الروح التي ظلت تتوق إلى السماء وتنشد كلمتها على الأرض تحلق أخيراً في السماء.