Севастополь с момента основания является городом многонациональным. В нем вместе с христианами, греко-католиками, караимами, евреями и другими национальными общинами проживает немало мусульман.
До Крымской войны в Севастополе была одна действующая мечеть.
После окончания войны мечеть восстанавливать не стали, так как из десятитысячного населения города мусульман было только 136.
В самом начале XX века активизировалось городское строительство. Особенно поощрялось властями возведение культовых сооружений. Открывались новые православные храмы, лютеранская кирха, строилась караимская кенаса.
После нескольких ходатайств представителей мусульманской общины в 1907 году городскими властями было принято решение о выделении земельного участка для строительства мечети. Первоначально строительство мечети планировалось на центральном холме, но фактически закладка мечети состоялась только в июне 1909 года по другому адресу: улица Азовская, 43 (ныне Кулакова 31).
Проект ее разрабатывал городской архитектор Александр Михайлович Вейзен, который стал автором некоторых жилых и общественных зданий в городе, таких как Караимская кенаса, первой в России биологической станции (ныне институт биологии южных морей). Он был членом высочайше утвержденной комиссии по восстановлению памятников обороны Севастополя 1854-1855 годов.
Проекту архитектор придал черты египетского стиля, для которого характерны стройные пропорции, богатство и пышность декоративных украшений. Возведенная на средства семьи Романовых в память о посещении Севастополя императором Александром III, эта мечеть выделялась в ансамбле города, как оригинальный памятник архитектуры.
Закладка мечети состоялась в присутствии градоначальника Кульстрема С.К., представителей различных общественных учреждений, мусульманского духовенства, офицеров-мусульман севастопольского гарнизона.
Надпись над порталом мечети, как утверждает исследователь В. Гуркович, гласит о том, что мечеть строилась с 1909 по 1912 г.г. (видимо написанная заранее) в память императора Александра III. Однако фактически, по объективным причинам, из-за сложной экономической и политической обстановки в стране (выборы в Государственную думу, война на Балканах) и как следствие – нехватки средств — строительство мечети затянулось еще на два года. Хотя иногда в недостроенной мечети по большим праздникам проходили богослужения (например, на 100-летие войны 1812 г.)
Торжественное открытие и освящение мечети состоялось 20 апреля 1914 года.
Мечеть имела двойной статус: была гражданской и военной одновременно.
Муллой гражданского населения стал Рахимов Юсуф Исмаилович, анухом (военным священником) Черноморского флота – Мухамед-Захир Замалетдинов.
Рахимов стал преподавателем, а затем директором Севастопольской татарской народной школы, где наряду с крымскими татарами обучались дети переселенцев казанских татар. Рахимов начал нововведения в школе. В учебный процесс добавлялись такие дисциплины, как математика, физика, химия, география, история. До этого функции мусульманской школы сводились к заучиванию религиозных толкований. Сам Юсуф Исмаилович преподавал историю и географию. Нововведения встретили сопротивление не только властей города, но и консервативных религиозных конфессий, т.к. усматривали в них покушение на их монополию в сфере просвещения.
После установления советской власти в Севастополе в 1920 году и проведения в жизнь Декрета СНК РСФСР от 23.01.1918 г. «Об отделении церкви от государства и школы от церкви» меняется отношение к верующим. Постепенно органами власти проводится политика, направленная на искоренение религии.
Начался учет культовых зданий и церковной собственности. В соответствии с циркуляром ЦАУ КСССР от 1924 г. № 139, культовые здания подлежали страхованию в Госстрахе и передавались группам верующих во временное пользование по договору.
К концу 1930 года, в связи с проводимой кампанией по раскулачиванию крестьянства, все мечети в пригородных деревнях были закрыты. По праздникам и пятницам мусульмане из сел вынуждены были приезжать на богослужение в город. Число молящихся в праздничные дни составляло от 600 до 1000 человек. По этой причине соборную мечеть в городе не закрыли, хотя неоднократные попытки со стороны властей предпринимались, и храм продержался еще до 1938 года.
После закрытия мечети в здании размещался кинотеатр, а впоследствии — архив Черноморского флота.
В годы Великой Отечественной войны мечеть значительно пострадала. Авиабомбой были разрушены купол и крыша здания, выгорели внутренние деревянные конструкции, не пострадал только минарет, но он был снесен в 1948 году при реконструкции и восстановлении здания.
С июля 1992 года по пятницам мусульманская община Севастополя, по согласованию с командованием Черноморского флота, стала проводить службы на втором этаже здания архива. В 1994 году помещение было освобождено от архива и передано верующим. В 1995 году проведена реставрация и восстановление мечети, а в 2000 году заново построен минарет.
По словам главы мусульман Севастопольского региона Али Эммина, Севастопольская соборная мечеть «Акъяр Джами» к 100-летнему юбилею, который планируют отметить в 2014 году, обретет свой исторический облик.