Музей открылся в ноябре 1973 г. В 1975 г. ему присвоено почетное звание «народный». Основу экспозиции составил архив ветерана крымской милиции М. С. Казакевича.
В музее собрано более 6,5 тысяч реликвий. В постоянно действующей экспозиции музея, разместившейся площади 131 кв.м, размещено 715 экспонатов, раскрывающих историю севастопольской милиции с 1917 г. по настоящее время.
Материалы экспозиций посвящены чекистам — ветеранам революции и Гражданской войны, участникам Гражданской войны, первым милиционерам, сотрудникам уголовного розыска, участникам обороны Севастополя 1941—1942 г.г., севастопольским милиционерам-разведчикам и тем, кто сражался в партизанских отрядах.
Один из стендов посвящен капитану милиции Василию Ивановичу Бузину, погибшему во время героической обороны города в годы Великой Отечественной войны. В музее милиции хранится последнее письмо капитана жене, написанное 30 июня 1942 г.
Бузин получил приказ городского комитета обороны: обеспечить эвакуацию секретных документов. Выполнив приказ, он отказался от эвакуации с командным составом и остался сражаться в одном из сводных отрядов по защите аэродрома на мысе Херсонес.
В июне 2009 года во время строительства Мемориала героических защитников 35 — й батареи на мысе Херсонес в отвалах земли рабочие обнаружили орден «Знак Почета», который принадлежал В.И. Бузину, погибшему в бою 2 июля 1942 года.
Именем Василия Ивановича Бузина назван сквер возле здания городского управления МВД. В 1967 году к 50-летию советской милиции в сквере был установлен памятник работникам милиции, погибшим при обороне Севастополя в 1941—1942 г.г. Автором скульптуры был, тогда еще молодой, Станислав Чиж. По его же проекту была выполнена и памятная доска Василию Бузину.
В экспозиции немало материалов о ветеранах милиции, наставниках молодежи, лучших инспекторах, дружинниках, оперативных комсомольских отрядах.
Среди экспонатов музея интерес вызывает стенд, на котором представлено оружие, изъятое у преступников при их задержании. Есть уникальные экземпляры самодельного холодного и огнестрельного оружия.
Особое место в музее занимают материалы о севастопольских милиционерах, погибших на боевом посту при исполнении служебного долга.
После проведенной реконструкции экспозиции, 10 ноября 2011г., в день советской милиции, обновленный музей посетили ветераны органов внутренних дел и руководство Севастопольского управления МВД. Для свободного посещения музей был открыт в декабре.