Sau khi Sở Địa chất Đông Dương thành lập năm 1898, hai nhà địa chất Pháp là các ông Lantenois và Mansuy được giao nhiệm vụ xây dựng Bảo tàng Địa chất.
Năm 1914 Bảo tàng được hoàn thành trong khuôn viên của Sở tại số 6 Phạm Ngũ Lão Hà Nội. Theo bài viết của ông Blondel (năm 1928) khi đó là giám đốc Sở Địa chất Đông Dương, Bảo tàng là ngôi nhà một tầng có kích thước (39x9,5)m.. Cho đến năm 1928 đã trưng bầy mẫu vật thu thập trên lãnh thổ Việt Nam , Lào, Cămpuchia và được trung bầy theo bốn phần: 1/ Khoáng vật 2/ Thạch học; 3/ Cổ sinh vật; 4/ Tiền sử. Trong đó Cổ sinh vật là phần quan trọng hơn cả. Trong bài viết của mình ông cũng nhận thấy còn thiếu các phần địa chất khu vực và phần Khoáng sản còn ít.Năm 1954 (Theo bài viết của Tiến sĩ Fontaine năm 1973) , Pháp trao lại chính quyền cho nhà nước Việt Nam dân chủ cộng hoà ở miền Bắc Việt Nam nên chuyển phần lớn mẫu vật vào Sài Gòn. Trước khi di chuyển, phần Tiền sử chuyển sang một gian ở dẫy nhà bên cạnh. Khi di chuyển bị mất một thùng và một thùng bị vỡ làm cho hoá đá bị vỡ nát và một số thất lạc. Số mẫu này được giao cho Trung tâm nghiên cứu Khoa học Kỹ thuật quốc gia của chính quyền Sài Gòn. Trung tâm này đến năm 1956 bị giải thể và số mẫu được bàn giao cho Nha Tài nguyên Khoáng sản thuộc Bộ Kinh tế và được trưng bầy ở số nhà 31 Hàn Thuyên. Đến năm 1970 Nha Tài nguyên Khoáng sản được cấp đất ở một góc Sở thú, đã xây căn nhà hai tầng số 2 Nguyễn Bỉnh Khiêm, mẫu được trưng bầy trong gian phòng kích thước (15x9)m. Sau 1975 Việt Nam hoàn toàn thống nhất, toàn bộ căn nhà này hiện nay là Bảo tàng Địa chất do Liên Đoàn Bản đồ Địa chất miền Nam quản lý.
Sau 1954 số mẫu vật còn lại tại Hà Nội ít, phần lớn bị thất lạc hồ sơ. Trong số mẫu vật đó có mẫu quý hiếm : Hoá đá xương đùi khủng long thu thập ở Mường Phalan (Lào), hoá đá cá Neogen ở Bản Ban (Lào), thiên thạch thu thập ở Trung trung bộ và mẫu quặng Calamin ở Chợ Điền (Bắc Cạn).
Năm 1955, Tổng cục Địa chất được thành lập, Bảo tàng Địa chất thuộc Vụ Kỹ thuật của Tổng cục và sử dụng nhà trưng bầy cũ. Vào những năm đầu 1960, với sự triển khai mạnh đo vẽ bản đồ địa chất , tìm kiếm thăm dò khoáng sản, số mẫu vật thu thập nhiều . Năm 1963 Tổng cục Địa chất đã mời chuyên gia Liên Xô Varfolomev (giám đốc Bảo tàng Leningrad ) làm cố vấn khôi phục lại Bảo tàng Địa chất. Các mẫu trưng bầy thành hai phần: Địa chất khu vực và địa chất khoáng sản.
Năm 1978 thành lập Viện Bảo tàng-Lưu trữ Địa chất (trực thuộc Tổng cục Địa chất).
Năm 1985 Tổng cục Địa chất đổi tên thành Tổng cục Mỏ-Địa chất . Viện Bảo tàng-Lưu trữ Địa chất đổi thành Viện Thông tin-Tư liệu Mỏ-Địa chất . Bảo tàng là một bộ phận (cấp Phòng) thuộc Viện này.
Năm 1990, thành lập Bộ Công nghiệp nặng, Tổng cục Mỏ-Địa chất trở thành Cục Địa chất Việt Nam trực thuộc Bộ này, Viện Thông tin-Tư liệu Mỏ-Địa chất đổi thành Viện Thông tin-Tư liệu Địa chất.
Năm 1991 Bảo tàng Địa chất tách khỏi Viện Thông tin-Tư liệu Địa chất thành một cơ quan độc lập trực thuộc Cục Địa chất Việt Nam . Giám đốc Bảo tàng là Giáo sư TSKH Đặng Vũ Khúc .
Năm 1995 cải tạo nhà Bảo tàng từ một tầng có kích thước (39x9,5)m thành nhà ba tầng với tổng diện tích cả ba tầng là 1111,5 m2 , Bộ Công nghiệp được thành lập; Cục Địa chất Việt Nam trực thuộc Bộ này.
Năm 1996, Phó Giáo sư Tiến sĩ Khoa học Trịnh Dánh làm Giám đốc Bảo tàng Địa chất. Ngày 25/11/1996 thành lập ba phòng của Bảo tàng Địa chất: Phòng Quản lý tổng hợp, Phòng Trưng bầy và Phòng Công nghệ bảo quản chế tác mẫu. Cuối năm 1996 Cục Địa chất Việt Nam và Cục quản lý Tài nguyên Khoáng sản Nhà nước hợp nhất thành Cục Địa chất và khoáng sản Việt Nam .
Năm 1997, Viện Thông tin Tư liệu Địa chất hơp nhất với Bảo tàng Địa chất thành Viện Thông tin-Lưu trữ-Bảo tàng Địa chất. Phó Giáo sư-TSKH Trịnh Dánh được cử làm Viện phó kiêm Trưởng phòng Bảo tàng Địa chất.
Năm 1999 Đề án Trưng bầy mẫu vật và các mô hình Địa chất – Khoáng sản đã đươc hoàn thành .Năm 2003, Bảo tàng Địa chất tách khỏi Viện Thông tin-Lưu trữ-Bảo tàng Địa chất, thành lập bốn phòng của Bảo tàng Địa chất: Phòng Quản lý tổng hợp; Phòng Sưu tập, Phòng Khoa học – Thông tin, Phòng Trưng bầy.
Năm 2004 Kỹ sư Nguyễn Việt Hưng làm Giám đốc Bảo tàng Địa chất
43, Phan Chu Trinh, Phường Phan Chu Trinh, Quận Hoàn Kiếm, Hà Nội
1, Tràng Tiền, Phường Phan Chu Trinh, Quận Hoàn Kiếm, Hà Nội
21, Hàm Long, Phường Phan Chu Trinh, Quận Hoàn Kiếm, Hà Nội
34, Phan Chu Trinh, Phường Phan Chu Trinh, Quận Hoàn Kiếm, Hà Nội
55B, Phan Chu Trinh, Phường Phan Chu Trinh, Quận Hoàn Kiếm, Hà Nội