Højen er første gang nævnt i skriftlige kilder i 1850erne, men menes grundlagt som et minde om de litauere, der døde i en opstand mod russerne i 1831. Litauen var efter århundreders storhed, først som selvstændigt land, siden i union med Polen, i 1795 kommet under russisk herredømme.