Trước được gọi là phố Hàng Sơn, Phố Hàng Sơn ban đầu là một ngõ hẹp, trước năm 1910 đường phố đó vẫn chỉ là một lối đi vừa một chiếc xe tay, bên cạnh đầu ngõ lại là một cái cống nhỏ choán cả lối ra vào. Bên trong ngõ có độ dăm bảy ngôi nhà đều chuyên nghề buôn sơn sống đưa từ mạn Phú Thọ về. Sau khi vạch thành đường phố, con đường đó được đặt tên là phố Hàng Sơn, song vẫn bị xếp vào loại phố xép.
Đoạn đầu phố từ ngã năm Hàng Mã - Hàng Lược đến ngã tư Hàng Cá, hai bên mặt đường đi chỉ là tường bên và cổng hậu của những nhà quay mặt ra mấy phố Hàng Mã, Hàng Cá và Hàng Đường. Qua ngã tư Hàng Cá, một bên dãy nhà số chẵn, mặt phố vẫn được giữ nguyên, nhà cửa đều cũ kỹ, kiểu cổ, diện tích hẹp, nền cao, gác thấp, cửa ván gỗ, làm đã từ lâu đời; một bên, phía bên trái, dãy số lẻ, là mặt phố được xây lại sau khi mở rộng mặt đường đi, xén lẫn vào phía sau Hàng Đường nên có những ngôi nhà mới làm, cao hai ba tầng kiểu hiện đại. Đầu phố giáp phố Phúc Kiến (Lãn Ông) là lớp nhà sau kho hàng của hãng Alim Macca.
Phố Hàng Sơn được đổi tên là phố Chả Cá là do trong phố có người họ Đoàn (gia đình bà Trưởng Mền, con là Cả Hy) có tài làm món đặc sản là chả cá nướng. Cửa hàng đó có từ lâu năm, được nhiều người tìm đến thưởng thức món cá nướng. Cho đến nay vẫn ngôi nhà cổ thấp hẹp ấy, vẫn chiếc cầu thang gỗ thấp ngược ấy. Trước đây trên gác có sập gụ tủ chè. Các cụ thường ngồi ăn trên sập.
Cửa hàng bán chả cá trước sau không nhiều; cũng có đôi ba nhà thấy đông khách ăn chả cá, cũng mở cửa hàng ở trong phố này, song không bền lâu; riêng có hiệu Sơn Hải, cũng là người họ Đoàn, vừa bán chả cá vừa làm hoa giấy, rồi sau cũng chỉ làm hoa giấy.
Từ sau 1945 trong phố Hàng Sơn không còn nhà nào buôn bán sơn nữa, mà người ta chỉ tìm đến đây ăn chả cá nên mới thành tên gọi phố Chả Cá, mặc dù cả phố chỉ có một cửa hàng chả cá.