Ở đây xưa kia là nơi tập trung bán các loại củ (khoai) của nông dân mấy tổng lân cận, nơi đất bãi sông Hồng. Thời Pháp thuộc, phố này có tên là Rue de Tubercules (Phố Các Củ). Tên phố Hàng Khoai được gọi chính thức từ sau năm 1945.
Phố có tên là Hàng Khoai vì ở sát bên chợ Đông Xuân, hàng ngày nông dân ngoại thành hay tập trung ở đây để bán các thứ nông sản nhiều nhất là các loại khoai: khoai lang, khoai sọ, khoai môn, cùng với gạo, ngô, đỗ, sắn.
Hàng Khoai là một phố buôn bán nhỏ, một bộ phận của chợ Đồng Xuân. Chỗ gần ngã tư Duranton (Nguyễn Thiệp) là những cửa hàng bán rổ rá thúng mủng, thừng chão, vàng hương. Rồi đến những cửa hàng bán sứ sành có tráng men: ấm chén, bát đĩa, điếu bát, lọ hoa, những đồ dùng thông thường rẻ tiền buon của các lò sứ Bát Tràng, Móng Cái.
Ngày nay, một phần phía nam là phần đất chợ Đồng Xuân. Các mặt hàng ở phố này đều là loại nông thổ sản như khoai lang, khoai tây, hành, tỏi, gừng, nghệ được chuyển vào phía sau phố là khu chợ Đồng Xuân - Bắc Qua. Từ đầu phố đến chùa Huyền Thiên, bên chẵn có nhiều cửa hiệu bán đồ gia dụng, hàng I-nox, hàng vệ sinh… có cả một hiệu thuốc lào Tiên Lãng và một hàng đồ tre, giang, rổ rá. Đi qua chùa Huyền Thiên là một dãy các hàng đồ sứ, đa phần là sứ Trung Quốc, đủ loại đĩa, bát, ấm, chén, âu, liễn…