Русскому государству особо угрожало Литовское государство князя Витовта, который неожиданно вторгался в разные области Руси и производил там значительные опустошения, предавая население и его имущество огню и мечу. Одним из таких набегов Витовт совершил в 6914 году (1406) на крепость Коложе, осадил и сжег Городище и крепость, Коложе после разорения литовцами не возобновлялось. Псковичи сочли более удобным построить новую крепость на излучине реки Великой, что против женского монастыря Успенья, что и было сделано в 6922 году (1414),
Опочецкий историк Леонтий Автономович Травин, сообщая о разорении Коложе писал: «Город Коложе был укреплением и защитой от нападения неприятельского тогдашним обитателям. Строен же, как видно, не малолюдством, но народным количеством, поелику осыпной вал сей крепости и обширность превосходит все прочие находящиеся в сей же стране ссыпные курганы». (По описанию, составленному в 1789 году, Коложе высотою от 10 до 15 сажен, причем на самом валу земляная насыпь в одну сажень) «...что не маловременны были тут жилища обитателей, то как замечательно по положению места, не меньше же уверительно и заведению садов, ибо и поныне таковом запустении в поросли диких лесов между оных в порослях находятся грушевые и вишневые деревья».
Историк Опочецкого края Петр Бутырский сообщает, что когда- то было установлено ежегодно ходить с Крестным ходом из города Опочки от соборной Спасопреображенской церкви после Ильина дня в первое воскресение со святым спасителевым образом.
Бутырский упоминает: «Крестный ход, неизвестно когда начавшийся, а учрежден, вероятно, для совершения служб над прахом коложан, павших от меча Витовта, приблизительно около 1800 года. Прекратился крестный ход, по малу числу богомольцев и по недостатку крестоносцев».
В этот день торговцы из Опочки ездили на городище Коложе с калачами, кренделями, пряниками, потому что там собиралось большое количество крестьян, которые называли этот день вторым Ильей. В 18 — 19 веках на вершине кургана находилось кладбище. На вершине полузасыпанная яма, по легенде, здесь стояла провалившаяся под землю церковь во времена нашествия Витовта.