الدين بن القطان الّذي كان له بوالده اختصاص لكنه لم ينصح له في تحفيظه الكتب وإرشاده إلى المشايخ والاشتغال حتى أنه كان يرسل بعض أولاده إلى كبار الشيوخ.. ولا يعلمه بشيء من ذلك.
وقال عنه ابن حجر: وكان له اختصاص بأبي فأسند إليه وصيته فلم يحمد تصرفه.
وتشير المصادر إلى أن نشأة الحافظ ابن حجر كانت برغم ذلك- في غاية العفّة والصيانة والرئاسة، وأن الخرّوبي المذكور لم يأل جهدا في رعايته والعناية بتعليمه، فكان يستصحبه معه عند مجاورته في مكّة، وظل يرعاه إلى أن مات سنة ٧٨٧ هـ وكان الحافظ ابن حجر قد راهق ولم تعرف له صبوة ولم تضبط له زلّة.
ولم يدخل الكتّاب حتى أكمل خمس سنين فأكمل حفظ القرآن الكريم وله تسع سنين، ومن الذين قرأ عليهم في المكتب شمس الدين بن العلاف الّذي ولى حسبة مصر وقتا وغيره.
وأكمل حفظه للقرآن على صدر الدين محمد بن محمد بن عبد الرزاق السفطي، وكان الاتجاه الثقافي السائد آنذاك يقتضي من الّذي يستظهر القرآن أن يصلّي بالناس إماما في صلاة التراويح في ليالي شهر رمضان، غير أن هذه الفرصة لم تتهيأ لابن حجر الصّبي النّابه الّذي حفظ القرآن ولم يزل في التاسعة من عمره، وهذه في الحقيقة مسألة شرعية حيث لا تجزئ صلاة المؤتمين إن لم يكن إمامهم بالغا، ومع الاختلاف النسبي في تحديد سنّ البلوغ، فإن السنة الثانية عشرة من عمر الصبي كانت تتيح له على ما يظهر أن يصلي إماما بالمسلمين إن هو حفظ القرآن الكريم، فكان عليه أن يتنظر بلوغ هذه السنّ.
وفي أوّل سنة ٧٨٣ اشتغل بالإعادة، وفي سنة ٧٨٥ أكمل الحافظ ابن حجر اثنتي عشرة سنة من عمره، ومن حسن حظه أن يكون متواجدا حينئذ مع وصيه الزكي الخرّوبي في مكّة في تلك السنة فصلّى التراويح هناك.
ويمكن تصور بوادر نبوغه وشجاعته، فبقدر ما كانت مفخرة له كصبي يتقدّم إماما بالمسلمين في بيت اللَّه الحرام فإنّها كانت لحظة حاسمة وحرجة اجتازها بثبات وحسن أداء، فكانت الخيرة له في ذلك كما قال، وكان الحج يومئذ يوم الجمعة فحج وجاور في الحرم الشّريف ثم صلّى بعد ذلك بالقدس.
ويظهر من استقراء تراجم الّذين عاشوا في عصر الحافظ ابن حجر أن تقليدا ثقافيا كان يسود بين أوساط التلاميذ الذين يدخلون الكتّاب وذلك بإلزام التلاميذ بالتدرج في حفظ بعض مختصرات العلوم والكتب وسماع بعضها الآخر، وهي التي اتفق العلماء آنذاك اعتبارها