Малый Сергиевский переулок расположен в Мещанском районе между Цветным бульваром и Трубной улицей, начинается от Цветного бульвара, проходит на юго-восток и заканчивается на Трубной улице, за которой переходит в Большой Сергиевский переулок.
Домов по переулку не числится. Налево от него отходит небольшой тупик, который иногда обозначается на картах как Цветной переулок.
Название Малого Сергиевского переулка, так же как и Большого, возникло в XVIII веке по церкви Преподобного Сергия "что в Пушкарях у Трубы", известной с 1547 г. (снесена в 1935 г.).