В 1903 году был объявлен конкурс на лучший проект школьного здания, которое должно было стать своеобразным памятником основателю Петербурга. По условиям конкурса, в главном здании должны были разместиться 12 классов начального училища, мужское и женское четырехклассные училища и городская бесплатная читальня; все училища должны были иметь отдельные входы, уборные и раздевалки. Кроме того, на главном фасаде здания, обращенном к домику Петра I, полагалось в обязательном порядке установить бюст или статую основателя Петербурга.
В 1905 году были объявлены результаты конкурса: победил проект двадцатисемилетнего архитектора А. Дмитриева. Однако финансирование проекта затянулось, а в 1908 году место строительства опять перенесли - на другую сторону Пенькового Буяна, которая примыкала к Петроградской набережной. Окончательный проект был, в конце концов, принят, и 9 июля 1909 года состоялась закладка Училищного дома на Петроградской набережной. Новую городскую постройку приурочили к 200-летию Полтавской битвы, которое отмечалось в 1909 году.
Помня о том, что будущее школьное здание будет носить имя Петра Великого, архитектор Дмитриев использовал в своем проекте элементы русского барокко первой половины 18 века. Высокая кровля здания, башенка с тонким шпилем, широкие окна, пилястры, наличники, фронтоны - все эти детали напоминают об архитектурном стиле петровской эпохи. С другой стороны, трехчетвертные колонны (выступающая из плоскости стены на 3/4 своего диаметра) по фасаду здания характерны для позднего, растреллиевского барокко.
В стиле петербургского барокко выполнен лепной и скульптурный декор фасадов (скульптор В. Кузнецов по эскизам А. Бенуа). Здесь особо значимой деталью стал бронзовый бюст Петра I, облаченного в кирасу и горностаевую мантию. Бюст обрамлен лепкой; фигурки младенцев, расположенные под ним, приподымают покрывало над надписью: "Отцу Отечества". Выше бюста, на фронтоне - барельеф с изображением мускулистых юношей, которые держат львиную шкуру. Подобно скульптурной группе знаменитого петергофского Самсона, этот барельеф аллегорически изображает победу России над шведским львом. Кроме того, этим подчеркивается и то, что здание Училищного дома было возведено в честь 200-летия Полтавской битвы.
Парадные помещения Училищного дома, отделанные в историческом духе, некогда получили название "Петровские залы". Современники утверждали, что эти залы в своем первозданном виде были похожи на единственный в своем роде музей. До наших дней частично сохранился вестибюль с крестовыми сводами и двухъярусным камином. Уцелела также изразцовая отделка актового зала на втором этаже. Этот интерьер создавался художниками С. Чехониным и А. Плехановым. На 1095 изразцах неоднократно повторяются знаменитые 15 изречений Петра I: "Военным судам быть", "Славные наши учёные люди будут писать книги о всяких науках", "Мир хорошо, однако притом не дремать надлежит" и другие. Эти же художники создали географические карты "до Петра" и "после Петра", которые, к сожалению, не сохранились.
С 1944 года в здании Училищного дома имени Петра Великого размещается Нахимовское военно-морское училище.