Малая четырехугольная башня находится на своеобразном перешейке, связывающем верхнюю площадку древнего городища, на котором в настоящий момент находятся башня «Веселуха» и Покровская церковь (1794 г.), с современной улицей Тимирязева. Известна также под названием «Роговка». Вероятно, что оно было связано с расположением башни у отрога Рачевского оврага. Происхождение наименования «Позднякова» возможно произошло от фамилии командира гарнизона башни в один из периодов её истории.
Обращает на себя внимание многоуступчатое основание цоколя башни и соседних с ней прясел, сложенное из блоков белого камня. Подобная конструкция характерна и для других башен, но везде, кроме Поздняковой, она скрыта землей. Любопытно, что башня сохраняла, по крайней мере, ещё в середине XX века элементы изначального декора. Так, один из исследователей Смоленской крепости, известный искусствовед И. Д. Белогорцев утверждал, что обнаружил на Роговке фрагменты раскраски мумиёй (красным пигментом) рельефных деталей её зубцов. А на боковых стенах башни были заметны следы от кровли, покрывавшей подходившие к ней прясла.
В начальный период осады Смоленска армией Речи Посполитой в 1609-1611 годах обороной Роговки руководили Елизарий Иванович Самарин и посадский человек Федор Бровкин. Под их началом находилось 50 человек, защищавших как саму башню, так и прилегающие прясла.
В 1633 году, во время осады города войсками под командованием М.Б. Шеина, к этой башне из Рачевского оврага бойцы московского войска вели минный подкоп. Начинался он от расположения отряда Якова Карла Хареслебена, уроженца Германии, поступившего на службу к русскому царю в 1631 году и командовавшему в Смоленской войне полком наемников. Подкоп не был закончен. Его остатки ещё в начале XX века были видны у основания башни. В 1706 году с внешней стороны крепости около Поздняковой башни было сооружено земляное укрепление.
Со второй половины XIX века данная башня использовалась как архивохранилище. Своеобразным курьезом является то, что на открытке с фотографией Поздняковой башни, изданной в Москве в 1917 году, она почему-то названа Шейновской. Очевидно, имеет место путаница с названиями башен Смоленской крепости. Во время Великой Отечественной войны Позднякова башня лишилась железной крыши. Новая, теперь уже деревянная, кровля появилась на ней только во время реставрационных работ в 1990-х годов. С середины XX века башня пустует.