Khởi đầu của sự hình thành cái gọi là “ngục giam” có thể truy về thời viễn cổ. Khi ấy, "ngục" là nơi người nguyên thủy thuần dưỡng dã thú (âm cảnh), hoặc đơn thuần là hang động, hầm đá. Đến thời kỳ xã hội thị tộc, ngục bắt đầu dùng để giam giữ tù binh và buộc họ lao động. Khi quốc gia hình thành, ngục giam cũng trở thành một phần trong bộ máy nhà nước.

Thuở sơ khai, khái niệm “ngục giam” chưa tồn tại như bây giờ. Thời Hạ triều gọi là “Hạ đài” (nay thuộc huyện Vũ, tỉnh Hà Nam), là ngục giam trung ương, cũng được gọi là “Hoàn thổ” (âm đọc là "hoán"). Đến thời Thương, ngục gọi là “Hữu” (âm đọc là "du"), hoặc “Ngữ” (âm "vũ")—chữ này đã xuất hiện trong giáp cốt văn, mang ý nghĩa “ngục”. Chu triều vẫn gọi là “Hoàn” hoặc “nhà tù” (âm “linh vũ”).

Thời Chu, ngục giam thường giam giữ phạm nhân tại các hoàn thổ. Phạm nhân sẽ lao động dưới sự giám sát. Nếu cải tạo tốt, phạm trọng tội có thể được thả sau ba năm, trung tội hai năm, nhẹ tội một năm. Tuy nhiên, sau khi được phóng thích, họ vẫn không được đối xử như thường dân trong ba năm tiếp theo.

Đến thời Xuân Thu – Chiến Quốc, quy mô ngục giam ngày càng mở rộng. Tên gọi cũng dần thay đổi, phổ biến là “Ngữ”. Sang thời Tần, vì pháp luật nghiêm khắc, tội phạm tăng nhanh, ngục giam được thiết lập khắp nơi, từ quận đến huyện. Tần luật có bộ “Tù luật” riêng, quy định tường tận việc quản lý ngục giam.

Từ thời Hán, ngục giam bắt đầu được gọi chính thức là “Ngục”. Hán triều có số lượng ngục giam lớn, không chỉ có đình úy ngục (trung ương) mà còn có các phủ, quan sở lập ngục riêng. Tên gọi ngục giam cũng phong phú: nội cung, phòng ở, bảo cung, thỉnh thất, v.v. Quận huyện đều có nhà lao riêng, toàn quốc có hơn hai ngàn ngục giam. Thời Nam Bắc triều, thể chế ngục giam về cơ bản kế thừa từ Hán. Riêng Bắc triều có thêm dạng “địa lao”—đào đất sâu làm nơi giam giữ.

Nói đến ngục giam cổ đại, không thể không nhắc tới nhà lao huyện Hồng Động, nơi giam giữ Tô Tam—nữ tử bị kết tội trọng hình. Đây là một trong những ngục giam cổ được bảo tồn nguyên vẹn nhất. Nó nằm tại góc phải đại đường huyện nha, thuận tiện cho việc thẩm vấn. Cửa ngục có tường chắn, chỉ có một lối đi duy nhất nhằm ngăn tù nhân đào tẩu. Vừa bước vào, phải qua năm cánh cổng, rồi tới một “ngõ nhỏ” rộng hơn một mét. Hai bên ngõ là phòng giam phạm nhẹ, cuối ngõ là nơi giam tử tù. Nội giám là kiểu tứ hợp viện, phía bắc có hai căn hầm không cửa sổ dùng giam giữ nữ tử hình phạm. Tương truyền danh kỹ Tô Tam từng bị giam tại đây.

Ngục giam thời cổ gọi là “nhà tù”—nơi chuyên biệt giam giữ phạm nhân. Là một phần quan trọng của nha môn, từ trung ương đến châu, phủ, huyện đều thiết lập ngục giam riêng.

Thời Hán, theo Hán Thư – Hình Pháp Chí, cả nước có hơn 2000 ngục giam, riêng Trường An đã có hơn 20 loại: như Lư ngục giam quý tộc, Tư Không ngục, Phòng ở ngục; dịch đình ngục chuyên giữ nữ phạm; còn có Thượng Lâm ngục, Thuyền ngục, Nội quan ngục,... Kinh thành còn có Kinh Triệu ngục và Trường An ngục.

Quan lại khét tiếng Doãn Thưởng từng làm huyện lệnh Trường An, đã lập "Hang Hổ"—địa lao sâu nhiều trượng, kín không lối thoát. Hắn từng bắt hàng trăm ác bá, nhốt vào đó, dùng đá lớn bịt miệng hố. Mấy ngày sau mở ra, tất cả đã chết, số lượng lên đến hàng trăm.

Từ Đông Hán về sau, nhà nước giảm số ngục trung ương, chỉ giữ Đình úy ngục và Lạc Dương ngục. Đến đời Tùy – Đường, lấy Đại Lý Tự làm cơ quan tư pháp trung ương, lập đại lý ngục. Minh – Thanh lập Hình Bộ quản lý ngục giam. Tuy nhiên, trên thực tế, ngục giam hỗn loạn, lạm quyền phổ biến.

Như thời Tống, pháp luật quy định quản lý ngục nghiêm ngặt, nhưng nha môn thường phớt lờ. Có các hình thức như “Môn lưu”, “Gửi thu”—ban đầu là tạm giữ, nhưng quan lại dùng để bắt người vô tội, ép họ nộp tiền chuộc. Không nộp thì không được thả, khiến ngục luôn chật kín. Lại có hình thức “Câu khóa”—giam ngắn hạn, nhưng bị lợi dụng để ngược đãi phạm nhân. Họ bị bỏ đói đến chết, bị tra tấn đến chết. Thậm chí có nơi quan lại câu kết hào tộc, vu oan giá họa, nhốt dân vô tội đến chết trong ngục.

Trong tất cả hình thức giam giữ, nổi tiếng nhất với hậu thế là “phòng trực”. Đến nay, dân gian vẫn gọi việc “bị bắt giữ” là “tiến phòng trực”. Thực chất, phòng trực không phải ngục giam, mà là nơi nha dịch làm việc. Nhưng để tiện tra án, phạm nhẹ và người liên can thường bị tạm giữ ở đây, chờ thẩm vấn. Một khi đã vào tay nha dịch, liền thành đối tượng bị lăng nhục, bị đòi tiền chuộc, thậm chí bị tra khảo đến mất mạng