Phố Mai Hắc Đế là đất thuộc các thôn cũ Giáo Phường - Phúc Lâm Tiểu. Dưới thời Pháp thuộc phố được gọi là Rue Charron (năm 1946 phố Mai Hắc Đế là đoạn đầu phía Bắc phố Bà Triệu trên).
Phố được mang tên Mai Hắc Đế. Ông là vua nước Việt Nam, vị anh hùng dân tộc và là người lãnh đạo cuộc khởi nghĩa nông dân chống sự chiếm đóng của nhà Đường ở Việt Nam vào đầu thế kỉ thứ 8.
Mai Hắc Đế tên thật là Mai Thúc Loan, người làng Mai Phụ (Thạch Hà - Hà Tĩnh). Thuở nhỏ nhà Mai Thúc Loan rất nghèo, mẹ phải đi làm mướn cho nhà giàu và kiếm củi nuôi con. Đã thế, cậu bé lại chịu tiếng xấu là con không cha và nước da đen sạm xấu xí. Nhưng Mai Thúc Loan cũng sớm bộc lộ thiên tư thông minh, sáng ý kỳ lạ và có sức khỏe tuyệt vời. Lớn lên, Mai Thúc Loan là một chàng trai có sức khỏe phi thường. Thúc Loan là đô vật lừng danh, từng ăn giải cạn ở nhiều nơi.
Ông đã lãnh đạo nhân dân đứng lên đánh đuổi quân xâm lược nhà Đường và được quân dân tôn phong lên ngôi hoàng đế gọi là Mai Hắc Đế (vua đen họ Mai).