Phố Hàng Gai nằm ở thôn Cổ Vũ xưa. Nó là một đoạn của con đường đi từ Bờ Hồ đến Cửa Nam qua Hàng Bông. Phố Hàng Gai không dài đo được hai trăm năm mươi mét; do vẫn theo lối vạch cũ nên đến bây giờ nó có hình cong chứ không phải là một đường phóng thẳng tắp.
Thôn Cổ Vũ không còn để lại mấy di tích cũ. Một ngôi đình cổ ở 85 Hàng Gai, đình thờ thần Bạch Mã và thần Linh Lang là hai vị thần được cúng thờ ở nhiều đình đền trong thành phố; trước cửa đình Cổ Vũ còn một cây đa cổ thụ.
Phố Hàng Gai nửa phía đông giáp Hàng Đào là đất phường Đông Hà, nên đình phường Đông Hà, ở số nhà 46 Hàng Gai; đình Đông Hà thờ thần Qui Minh, em thần Tản Viên. Trước cửa đình Đông Hà vẫn có cây bàng già. Ngôi đình này đã bị phá để mở rộng đường phố. Một dấu vết của đường phố cổ nữa là nhà làm so le ra mặt phố không thẳng hàng; cho mãi đến khoảng năm 1906 Hàng Gai mới có vỉa hè, và nhiều nhà còn nhô ra đến sát mặt đường rải đá. Phố đã hẹp lại thêm đường xe điện đặt sát mé đường bên trái số lẻ.
Nhà trong phố trước kia chỉ là những ngôi nhà cổ một tầng, hoặc có gác thì cũng là chiếc gác xép gọi là kiểu "chồng diêm", không có cửa sổ hoặc chỉ trổ một cửa sổ nhỏ trông xuống đường. Mặt ngoài nhà đóng cửa lùa. Nhà thường hẹp bề mặt nhưng ăn sâu vào trong, có nhiều lớp, cách nhau là những khoảng sân vuông. Nhà giàu thì đất bên trong lấn sang nhà chung quanh, lớp trong đôi khi có nhà gác, có nhà cầu, có vườn hoa cây cảnh, cổng sau thông ra ngõ hoặc phố khác. Chẳng hạn nhà số 7 thông ra đường Bờ Hồ, nhà số 63 cổng sau là phố Hàng Hành, nhà số 80-82 có lối ra ngõ Hàng Chỉ.
Năm quân đội Pháp hạ thành Hà Nội ( 1882), chiến tranh chưa hết, dân phố chạy loạn về quê, nhiều nhà đóng cửa để đấy. Người Pháp cần chỗ đạt ban làm việc, ngoài những đình chùa và đền chung quanh Hồ Gươm, chúng chiếm những nhà lớn vắng chủ làm trại sở cơ quan. Công sứ Hà Nội là Bonnal đóng ở ngôi nhà số 80- 82 Hàng Gai, các viên chức người Pháp người Nam kỳ của Toà Công sứ chiếm các nhà chung quanh để ở cho gần nơi làm việc.
Vì thế đường phố dân cư thuần chất và chuyên buôn bán sách nho này một dạo đã nhộn nhịp cảnh xe ngựa v&otil