Phường Đại Lợi tập trung người làng Đan Loan chuyên nghề nhuộm tơ lụa có từ thời Trần - Hồ, qua thời hậu Lê thì đã sầm uất (theo địa dư chí của Nguyễn Trãi). Phố Hàng Đào tất nhiên cũng hình thành rất sớm dọc trên con đê gần Hồ Gươm. Những biến cố chính trị cuối thế kỷ 18 đã ảnh hưởng đến khu phố này. Theo sách ?Vũ trung tuỳ bút của Phạm Đình Hổ có kể đến quang cảnh phồn hoa của mấy phố Hàng đào - Hàng Bạc buôn bán giàu có, đồng thời cũng là nơi bày ra những thói nhũng nhiễu của bọn có quyền thế và thủ đoạn lừa lọc của bọn lưu manh. Sau ngót năm mươi năm phục hồi ở nửa đầu thế kỷ 19, lại đến những sự biến của những năm 1873 và 1882 làm dân cư phải thất tán, buôn bán đình trệ, để rồi chờ tình hình tạm yên lại trở về làm ăn.
Cho đến thế kỷ 20, phố Hàng Đào vẫn thua kém phố Hàng Ngang (Phố của người Minh Hương và khách trú Quảng Đông), mặc dù Hàng Đào là phố giàu nhất Việt Nam, tại đây không có nhà nào xây dựng to lớn, nhà ngói vẫn còn lẫn nhà tranh. Một số ít nhà có gác thấp, cửa sổ nhỏ trông xuống phố kín đáo. Một phố dài chừng hai trăm năm mươi mét mà hai bên mặt phố có tới dăm chục nóc nhà, tức là đổ đồng bè rộng của mỗi cửa hàng trung bình chỉ có dăm thước. Bên phía Tây là dãy số chẵn, bên phía Đông là dãy số lẻ, cửa ngoài thì ngang với mặt đường, nhưng càng đi sâu vào trong nhà , mặt đất càng thấp xuống, lý do là phía bên đó nguyên là giải hồ rộng cũ được lấp đi, mặt hồ so với mặt đê, tất nhiên thấp hơn. Phía bên phải (số chẵn) không có cống thoát nước thải, hay bị ứ đọng nước. Cũng như tất cả các phố thời ấy, trên cao thì có những mái nhà nhấp nhô mái cao, mái thấp không đều, phía ngoài cửa thì so le, nhà nhô ra thụt vào; phố chưa có vỉa hè, lát đá lổn nhổn. Nhiều nhà cổ vẫn còn sót lại đến ngày nay.
Là phố buôn bán có từ lâu đời và buôn bán những thứ hàng đắt tiền, Phố Hàng Đào có nhiều nhà giàu, vốn liếng to. Có những gia đình sinh sống qua nhiều thế hệ ở phố Hàng Đào, số đông là người gốc làng Đan Loan (họ Phạm, họ Lê), làng Đình Loan(họ Nguyễn), làng Đông Cao (Bắc Ninh); họ Vũ Đông Cao ít ra cũng đã có tới bốn năm đời. Những gia đình nhà nho quan lại quý tộc thường thông gia với nhau; nhà giàu kén rể làm quan để thêm danh giá, cũng như người ta đã có danh vị muốn có vợ nhà giàu. Cho cả mãi đến những năm thập niên 30 - 40 mới đây, con gái Hàng Đào còn truyền