Phố Mã Mây thời xưa là hai phố tên gọi khác nhau: Hàng Mây và Hàng Mã.
Hàng Mây là đất của Giáp Hương Tượng thuộc phường Hà Khẩu cũ, tức là phần đất giáp Hàng Buồm; đình Hương Tượng ở số 64 phố Mã Mây thờ Nguyễn Trung Ngạn, còn có tên là Tử ý đại vương. Gọi là Hàng Mây vì ở gần bến sông, nơi thuyền bè đậu chở từ miền ngược về các thứ lâm sản: song mây tre nứa bán cho Hàng Mây và Hàng Mã; gỗ đem lên Bè Thượng; vỏ gió củ nâu đưa lên phố Thanh Hà.
Hàng Mã giáp với Hàng Bạc là đất thôn cũ Dũng Thọ, dân trong phố có nghề làm đồ Mã dùng cho các đám tang và cúng mã, cúng cầu mát, cùng với nghề làm vàng gộp dùng trong ngày giỗ ngày Tết và các đám cúng ( khác với Hàng Mã gần Hàng Đồng là nơi làm đồ mã nhỏ và hoa giấy bày bàn thờ, Hàng Gai bán đồ chơi bằng giấy Tết Trung thu).
Thời thuộc Pháp, hai phố Hàng Mây - Hàng Mã nơi trên được gọi chung là Rue Des Pavillons Noirs (phố quân Cờ Đen). Có tên đó là vì năm 1882, ở Mã Mây những tháng tiếp theo quận Cầu Giấy, quân Pháp bị bao vây ở Đồn Thuỷ và trong Thành thì quân Cờ Đen hoành hành ở khắp các phố Hà Nội, một đơn vị của chúng đến đóng ở phố Mã Mây. Tuy nhiên người Việt Nam vẫn cứ tên cũ mà gọi hai phố này là phố Mã Mây.
Giai đoạn đầu sau khi chiếm Hà Nội (thập niên cuối thế kỷ 19) người Pháp đã có ý định mở mang khu vực này thành nơi kinh doanh của chúng. Chính quyền Pháp đặt nhiều công sở trong khu vực bến sông : Sở Thuế quan ở bờ sông ngoài cửa Ô Quan Chưởng (sau nhà đó dùng làm trường học Trường Ke); Sở Xen đầm ở Hàng Bè (số 55); Toà án ở Hàng Tre. Tại phố Mã Mây có nhiều di tích của sự mở mang đó: là nhà ngục(một dãy nhiều gian từ số 19 đến số 33 thuê của tư nhân; nhà chủ ngục người Pháp ở bên kia đường nhà số (20 -21), trụ sở Hội Tam Điểm Bắc Kỳ (nhà số 37, sau dùng làm trường học trường Hàng Mã). Bọn con buôn Pháp cũng có đôi ba cửa hàng ở Mã Mây.
Người Pháp có ý định mở mang khu vực này vì tiện có bến sông, lại gần phố người Tàu có nhiều cửa hiệu lớn.
Thời kỳ đầu thế kỷ 20, những thập niên trước và sau chiến tranh thế giới 1914 - 1918, quang cảnh