Phố Phạm Ngũ Lão là đất thôn cũ Tây Luông và đồn Thuỷ Quân (sau là khu Đồn Thuỷ). Thời thuộc Pháp phố có tên là Rue de la Concession (phố Nhượng địa).
Phố mang tên Phạm Ngũ Lão (1254-1320). Ông là tướng nhà Trần trong lịch sử Việt Nam. Ông là người làng Phù Ủng, huyện Đường Hào, Hải Dương (nay thuộc huyện Ân Thi, tỉnh Hưng Yên, Việt Nam). Theo sách Tông phả kỷ yếu tân biên của Phạm Côn Sơn dẫn gia phả họ Phạm, ông là cháu 8 đời của tướng Phạm Hạp thời nhà Đinh.
Trong kháng chiến chống giặc Nguyên- Mông, Phạm Ngũ Lão đã lập nhiều công lớn, nổi tiếng đánh đâu thắng đấy. Ông vừa chăm võ nghệ vừa thích đọc sách ngâm thơ.
Khi ông mất, vua Trần Minh Tông nghỉ chầu năm ngày để tỏ lòng thương tiếc.