Sveti Alimpije želio je da se posveti Bogu i živi u molitvi i usamljeništvu, pa se povukao na jedno jelinsko groblje od kojeg su ljudi bježali zbog demonskih priviđenja. Tu je postavio krst i sagradio hram u čast svete Efimije koja mu se javila u snu. Pokraj hrama podigao je stub, popeo se na njega i tu, u postu i molitvi, proveo 53 godine. Ni podsmijeh ljudi, ni zla demonska nisu ga mogla odatle pomjeriti.
Od svega se ograđivao krsnim znamenjem i imenom Hristovim. Najzad, ljudi su počeli da ga poštuju i da mu dolaze radi utjehe, pouke i iscjeljenja. Oko njegovog stuba podignuta su dva manastira, jedan muški i jedan ženski. U ženskom manastiru živjele su svetiteljeva majka i sestra, a on je sa svog stuba, primjerom i riječima, ukazivao ljudima put ka spasenju.
Sveti Alimpije poživio je sto godina i upokojio se 640. godine, u vrijeme cara Iraklija. Od njegovih moštiju sačuvana je glava u Kotlomuškom manastiru na Svetoj gori.