Núi Lớn và Núi Nhỏ nằm kề nhau, được ví như "hai anh em", tạo nên phong cảnh “sơn thủy hữu tình” thật hiếm có cho thành phố biển Vũng Tàu. Tương Kỳ và Tao Phùng chính là những tên gọi khác không kém phần nổi tiếng của Núi Lớn và Núi Nhỏ.
Núi Lớn còn có tên gọi là Tương Kỳ, có diện tích khoảng 400ha.
Núi Lớn còn có tên gọi là Tương Kỳ, có diện tích khoảng 400ha, đỉnh cao nhất 254m. Vào đầu thế kỷ XIX, sách Gia Định thành thông chí gọi Núi Lớn là Thác Cơ Sơn, có dáng như rồng xanh tắm biển, đứng uy nghi giữa biển trời che sóng gió, chỉ rõ bờ bến cho tàu thuyền Nam Bắc qua lại. Đầu ghềnh Thác Cơ Sơn thường có những con rái cá nên dân gian thường gọi là núi Ghềnh Rái. Giữa thế kỷ XIX, sách Đại Nam nhất thống chí đặc biệt nhấn mạnh sự quan yếu của núi như là một bức bình phong che chắn cho cửa Cần Giờ.
Về tên gọi Tương Kỳ, truyền thuyết kể rằng: Khi xưa nơi đây còn hoang dã, nhiều hổ dữ sinh sống. Hai ông cháu cụ giáo Hiếu là những người đầu tiên đặt chân lên núi. Cụ giáo Hiếu là thầy dạy văn và võ cho 3 anh em Nguyễn Nhạc, Nguyễn Huệ, Nguyễn Lữ. Chính cụ là người khuyến khích 3 anh em Tây Sơn khởi nghĩa.
Cụ có cô cháu gái tên Mai. Một hôm, cô vào rừng hái nấm, không may gặp hổ dữ. Hổ nhảy vào định ăn thịt Mai. Đang lúc lâm nguy bỗng đâu xuất hiện tráng sĩ. Bằng võ nghệ điêu luyện, tráng sĩ đã hạ sát hổ dữ cứu nguy cho cô gái. Cảm kích ơn cứu mạng, thiếu nữ đã đưa tráng sĩ về ra mắt ông nội.
Chàng trai tài ba đó tên là Lê Tuấn, một võ tướng của Nguyễn Huệ. Biết được điều này, cụ giáo Hiếu rất vui mừng và gả cháu mình cho Lê Tuấn. Cụ giáo trỏ tay vào ngọn núi và nói: "Nơi đây đã chứng kiến mối lương duyên của tráng sĩ và cháu gái lão, lão xin đặt tên núi là Tương Kỳ". Từ đó, núi có tên gọi Tương Kỳ.
Núi Nhỏ, còn gọi là Tao Phùng, có diện tích khoảng 120ha, cao 170m. Nếu như núi Lớn tựa dáng con rồng xanh tắm biển thì Núi Nhỏ chính là "cái đuôi" của con rồng xanh ấy. Về tên gọi Tao Phùng của Núi Nhỏ có chuyện kể rằng: Xưa, công chúa con vua Thủy Tề hóa cá vàng đi chơi, không may sa lưới người trai làng chài. Thấy cá đẹp, chàng mang lên núi, khoét đá thành vũng nước, cho cá vào nuôi. Một hôm ở biển về, chàng không thấy cá đâu, chỉ thấy từ trong núi công chúa bước ra, kể rõ sự tình, rồi họ thành vợ chồng. Cuộc sống đang yên vui thì bỗng ngày kia, người vợ bị một vị khách lạ mặt "thu" vào hộp ngọc sáng chói, biến thành cá vàng, mắt đẫm lệ nhìn ra. Người chồng đau đớn xin tha nhưng không được. Từ đó, cứ 5 năm 1 lần, cá vàng mới được ra gặp chồng ở Núi Nhỏ, nên người đời gọi đó là núi Tao Phùng.
Năm 1862, thực dân Pháp đã cho xây dựng ngọn hải đăng đầu tiên ở Việt Nam trên Núi Nhỏ (tại độ cao 149m). Cuối Núi Nhỏ về phía Nam là mũi Nghinh Phong. Trước đây, người dân Vũng Tàu gọi mũi Nghinh Phong là Ô Quắn. Như cánh tay dài vươn ra biển, ôm bãi Vọng Nguyệt phía Đông và Hương Phong (Bãi Dứa) phía Tây, quanh năm Nghinh Phong đón gió. Cách mũi Nghinh Phong không xa về phía Đông là Hòn Bà, tên gọi gắn với điện thờ trên đảo. Mũi Nghinh Phong, Hòn Bà tạo cho cảnh quan Núi Nhỏ thêm kỳ thú.
Trong khi đó, nằm bên sườn Núi Lớn, Bạch Dinh được xây dựng từ năm 1898. Trải qua những thăng trầm của lịch sử, dinh thự màu trắng, ngói đỏ nổi bật này vẫn giữ nguyên nét kiến trúc châu Âu cuối thế kỷ XIX với lối trang trí tinh tế, sang trọng. Ngoài vẻ đẹp hoài cổ của tòa nhà, rừng sứ ở Bạch Dinh cũng thường xuất hiện trong ảnh check-in của các bạn trẻ khi du lịch Vũng Tàu. Ngoài ra, Thích Ca Phật Đài ở Núi Lớn là một trong những ngôi chùa nổi tiếng nhất Vũng Tàu, được xếp hạng di tích quốc gia năm 1989, thu hút nhiều du khách trong và ngoài nước đến tham quan.
Núi Lớn, Núi Nhỏ còn bảo tồn nhiều di tích lịch sử văn hóa như: phòng tuyến trận địa pháo của Pháp, Hải đăng Vũng Tàu, Hầm thủy lôi của quân đội Nhật trong Chiến tranh thế giới thứ 2, đài Ăng ten parabol của quân đội Mỹ, Tượng chúa Kito và rất nhiều đền, chùa nổi tiếng khác.