يعود أول ضريح للجندي المجهول إلى عام 1858 وهو ضريح "جندي المشاة" في فريدريكا في الدنمارك بعد حرب سكيلسفيغ الأولى ويعود ضريح مهم آخر إلى عام 1866 الذي وضع في الولايات المتحدة الأمريكية بعد أحداث الحرب الأهلية هناك بين الشمال والجنوب.
لكن بداية الأمر كتقليد فعلي أخذت مكانها بعد أحداث الحرب العالمية الأولى والتي بلغ عدد الضحايا والجنود الذين لم يكن بالإمكان التعرف على هويتهم عدداً هائلاً ويعتقد أن بداية التقليد أخذت طريقها من تأسيس ضريح الجندي المجهول تحت ما يعرف بقوس النصر في باريس عام 1920