ولد الجيلاني بن الحاج يحيى بجزيرة جربة في 12 جوان 1929. واختلف فيها، منذ حداثته، إلى الكتاتيب ثم إلى المدرسة الابتدائية.انتقل بعد ذلك إلى مدينة تونس. والتحق بالمدرسة الخلدونيّة ثمّ بجامع الزيتونة. وتخرّج فيه حاملا شهادة العلوم العمليّة سنة 1949 وشهادة التحصيل سنة 1950.
اشتغل بعد تخرّجه معلّما. فعمل في الكثير من المدن. ثمّ طمحت نفسه إلى الاستزادة من التحصيل والمعرفة. فسافر إلى العاصمة السويسريّة جنيف. وانتسب إلى مدرسة أمناء المكتبات بعد أن حصل على منحة تخصّص في فنّ المكتبات وعلومها من منطقة اليونسكو. وتخرّج فيها حاملا شهادة في علم المكتبات. في سنة 1949 أسّس مع بعض الكتاب والأدباء نادي القلم. وفي هذا يقول في مقدّمة كتابه عن علي الحصري القيرواني: (في خريف 1949 اجتمعنا بعاصمة تونس ثلّة من هواة الكتابة والشّعر لنؤسّس ناديا اخترنا له اسم نادي القلم وكان في مقدّمة ما يرمي إليه هذا النّادي هو دراسة الآثار القوميّة المخطوطة من علميّة وأدبيّة وتحقيقها ونشرها.. واقترح بعضنا أن يكون أوّل أثر يبادر النّادي إلى نشره ديوان المعشرات للحصري).
عمل متفقّدا في التعليم الابتدائي سنة 1957.وتدرّج في الوظيفة. فشغل خطّة رئيس مصلحة بديوان تعليم الكهول ثمّ مدير إدارة المكتبات بوزارة الشؤون الثقافية. وقد كان، كما وراء بعث الكثير من التّظاهرات والفضاءات الثقافيّة، وخاصّة منها المكتبات العموميّة في القرى والأرياف النّائيّة، كما أسهم إسهاما قيّما في إرساء منظومة إداريّة متكاملة كانت نواة للشبكة المكتبيّة التي تعمّ مناطق البلاد كافة.التحق بالمنظمّة العربيّة للتربية والثقافة والعلوم بصفة خبير ثمّ انتقل إلى وزارة الثقافة بصفة مستشار لوزير الثقافة.
أسهم في الكثير من الجمعيّات الثقافيّة. فكان من أوائل المنخرطين في اتحّاد الكتّاب الذي انضّم إليه سنة 1971. وكان من مؤسّسي النّادي الثقافي (أبو القاسم الشابي) والجمعيّة المعجميّة العربية. يتّفق جميع معارفه على أنّه كان ذا روح مرحة وطبع ودود وأنّ له قدرة فائقة على نشر البهجة في مجالسه. وقد ذكر الأستاذ أحمد الحمروني أنّه كان يتردّد على نادي زرياب (صالح المهدي) صباح كلّ أحد وعلى مجلس القاضي محمود شمّام مساء كلّ جمعة إضافة إلى تردّده على النوادي التي أسّسها أو أسهم في تأسيسها.
إنّ المتأمّل في مسيرة الرّجل الفكريّة والأدبيّة يلحظ تعدّد شواغله وتنوّعها. فقد كتب في التاريخ. وضرب بسهم في التحقيق. وانعطف على الكثير من الشخصيّات الأدبيّة والفكريّة بالنظر والتأمّل، كما كان له إسهام مهّم في مجال المعجميّة. وقد سعى الجيلاني بن الحاجّ يحيى في كلّ ما كتب، إلى المحافظة على التراث العربي عامّة والتراث التونسيّ على وجه الخصوص. في هذا السياق نفهم عنايته بالقواميس يوجّهها إلى الناشئة وفق منهجيّة مخصوصة وهي القاموس المدرسيّ الذي أصدره سنة 1981 والقاموس الجديد الذي أصدره سنة 1990 والقاموس الألفبائي الصّادر سنة 1997، مع العلم أنّه في السيّاق نفسه، سياق المحافظة على التراث ورعايته، يندرج تحقيقه للكثير من الأعمال الأدبيّة لعلّ أهمّها قسم شعراء المغرب والأندلس من كتاب جريدة القصر وجريدة العصر للعماد الأصفهاني بالاشتراك مع محمد العروسي المطوي ومحمد المرزوقي وآذرنوش. وفي السياق نفسه تندرج أعماله التّاريخيّة التي اعتنت ببعض الأحداث الكبرى مثل كتابه عن معركة الزلاّج بالاشتراك مع محمد المرزوقي، كما أصدر الجيلاني بن الحاج يحيى مجموعة قصصيّة للأطفال سنة 1997 تميّزت بلغتها النقيّة وحكاياتها الطريفة وقدرتها على المزج بين العبرة الأخلاقيّة والامتاع الفنيّ.وقد توفّي بتونس في 26 أفريل سنة 2010. وهذه قائمة في أعماله كما صنّفها أحمد الحمروني: