Nối từ phố Lý Quốc Sư đến phố Phủ Doãn, nguyên là đất thôn Tiên Thị, và là ngõ dẫn tới cổng chính của huyện đường của huyện này. Tương truyền khoảng cuối thế kỷ XIX sau khi giặc Pháp hạ thành Hà Nội ít lâu, ở đầu ngõ này có một ngôi miếu gọi là miếu Ông Cai, sự tích như sau: Khi giặc Pháp đánh vào huyện đường, tri huyện bỏ chạy, ông Cai Trí chỉ huy một toán lính cơ kháng cự rất anh dũng. Cuối cùng ông hi sinh. Nhân dân quanh đó lập một cái miếu bằng gỗ, lợp lá đề thờ ông ngay cạnh huyện đường. Ít lâu sau, dân lại góp tiền định xây bằng gạch thì Hoàng Cao Khải lúc đó là tri huyện chẳng những không cho phép mà còn dỡ cả miếu cũ đi.
Thời Pháp thuộc cũng gọi là ngõ Huyện (ruelle Ngõ Huyện). Đó là tên thông dụng trong dân chúng dùng chỉ cả 2 ngõ ở khu vực này là ngõ Huyện và ngõ Thọ Xương hiện nay.