Phố Orleans (Phùng Hưng) dài 1.250 mét, đi từ bắc xuống nam theo vết tường thành và con hào phía đông thành trì Hà Nội cũ; tưòng thành đã bị phá và hào bị lấp năm 1896 - 1897. Khi làm đường xe lửa thì cầu dẫn xe lửa được xây trên nền tường thành cũ và phố Orleans (Phùng Hưng) là chỗ con hào đã bị lấp bằng. Phần đất làm nền bên phía đông dãy số lẻ là đất thôn Tân Khai cũ.
Sau khi phá tường thành lấp hào và quy hoạch khu vực này thành đường phố đi dọc theo cầu xây đặt tên là đại lộ Henri de Orleans, nhưng đường phố đó hàng chục năm tiếp theo vẫn chưa được thiết kế hoàn chỉnh.
Trong thời gian những năm thập niên mười và hai mươi, phố Orleans mới chỉ có hai đoạn ngắn ở hai đầu phố phía bắc và phía nam tức là đã có nhà cửa và có cả ở hai bên mặt đường. Đầu phố phía bắc giáp vườn hoa Hàng Đậu đến chỗ cầu xây thì bên phải mặt đường, dãy số chẵn, có ba ngôi nhà gác lớn kiểu villa, xây vuông hai tầng nhiều phòng, chung quanh nhà có sân và vườn, có hàng rào sắt. Tiếp đến ba villa nữa, nhỏ hơn, một tầng nhưng gọn gẽ xinh xắn, cây cối râm mát. Từ đây đến hết đoạn phố, tức là gặp phố GI Nogues (Lê Văn Linh) luồn dưới gầm cầu sắt, chỉ là mặt sau của một cơ quan quân sự. Những ngôi nhà nói trên của đoạn phố này đều là của người Pháp hoặc Hoa kiều buôn bán giàu có, hoặc làm mại bản cho các hãng buôn lớn.
Bên số lẻ mé bên trái đường quang cảnh xây dựng có khác với bên số chẵn. Chỗ đất đó giáp lưng với bên phố Hàng Cót, là những nhà của người Việt Nam, nhà diện tích không rộng lắm, xây ra đến sát hè phố. Những ngôi nhà hai tầng xây liền dãy, cao ráo theo kiểu nhà Tây, chủ là nhà buôn hoặc quan lại làm để ở hoặc cho thuê, người thuê nhà cũng là người lương cao. Tại dãy phố đó có mấy nhà mở quán cà phê và phòng cho thuê phục vụ khách nhà binh trong Thành. Nhà Cả Tròn ở số 21 có sáng kiến mở nhà cho thuê đám cưới, phòng cưới đầu tiên của Hà Nội, cho thuê cả bát đĩa kiểu để làm cỗ đón dâu, chủ giao thiệp rộng có thể mời những người đi ăn cưới áo gấm bài ngà trịnh trọng. Nhà này sau mở cả phòng hút thuốc phiện, loại tiệm hàng sang, khách đa số là Tây, sĩ quan trong Thành.
Phố Phùng Hưng qua gầm cầu sắt rồi quay về hướng nam, đoạn đầu dọc theo cầu xây mang một tên khác là Gầm Cầu. Đầu ph&iacut