Говоря о башне по адресу ул. Соболева, 5, необходимо выделить два периода в ее истории – до разборки в 1830-е годы и после, поскольку речь идет о совершенно разных башнях.
Историческая башня была по типу многогранной, и служила узлом обороны северо-восточного участка крепости, что объясняет ее выдающиеся параметры: высота башни была 23 метра, толщина стены с внешней стороны более 5 метров. В истории зафиксированы разные ее названия. Самое старое – Крыловшевская; так она названа в «Росписи дворянам и детям боярским…» 1609 года, название дано по месту расположения башни в Крылошевском конце города. Ее называли Костаревской и Костыревской, вероятно, от слова «костер». Связано это вовсе не с цветом башни, а с тем, что костром называли фортификационные укрепления, башни и замки, на Руси в XIV-XVI веках. Название могло перейти «по наследству» от прежней деревянной крепостной башни. Рачевской башню называли из-за близости Рачевского предместья. Черепаховой и Черепичной из-за устроенной черепичной крыши, появившейся уже позднее. Черепичная крыша на башне упоминается в начале XIX века.
По приказу Петра I в начале XVIII века в башне был размещен пороховой склад, для чего перекрытия между ярусами сделали каменные, а не деревянные. Во второй половине века в Костыревской башне был устроен склад, где хранились комиссариатские вещи (вещи для обмундирования и снаряжения сухопутных войск).
В 1812 году башня не была взорвана французами, но пострадала от взрыва Лазаревских ворот, стоявших неподалеку. Кроме того, башня стоит на берегу Днепра. Слабый грунт на этой городской территории не способствует сохранению архитектурных памятников. По башне пошли трещины, осыпалась кровля из черепицы, к 1827 году возникла угроза обрушения. Завязалась долгая переписка местных властей с Инженерным департаментом в Санкт-Петербурге.
Башню вполне могли бы разобрать, как и немалое количество смоленских башен. Однако интерес к древним памятникам, столь заметный для Российской Империи первой половины XIX века, заставил власти принять иное решение, причем решающим оказалось слово императора Николая I. При первом докладе о ветхости одной из башен в Смоленске в 1829 году, он постановил «починить как была». Однако из-за ветхости это оказалось невозможно. В 1830 году император Николай I дал согласие на постройку новой башни вместо древней с «сохранением стиля и вида древности». К осени 1831 года была закончена разборка древней башни, а в 1832 году был утвержден проект на постройку новой башни, подобной Годуновской, но с уменьшенным диаметром. Причина выбора варианта с уменьшенным диаметром башни заключалась в стоимости сметы – средств на возведение уменьшенной башни нужно было в два раза меньше, чем на оригинальную. Император повелел сразу продумать, как может быть использована новая башня.
В 1833–1835 годах была сооружена новая, единственная в Смоленской крепости круглая башня. Строительными работами руководил инженер-поручик Ашенбреннер. Стены башни были сложены из кирпича темно-красного цвета, за что она получила название «Красная». Наличники бойниц, валики над и под машикули были выбелены побелкой. Первоначально новую башню планировалось приспособить для хранения взрывчатых веществ, так возникло еще одно ее имя – Пороховая башня. Но вскоре в башне был размещен архив, затем там помещались арестанты. В новейшей истории башня сдавалась под аренду, сейчас она не используется.