Спел в этом театре свою первую крупную партию — Фауста («Фауст» Гуно). С 1924 года — солист Харьковского, с 1925 года — Свердловского оперных театров, в 1926—1954 годах — Большого театра СССР. С первых лет службы в Большом театре, исполняя главные теноровые партии, приобрел популярность и массу почитателей, в конце 1930-х Козловский становится одним из любимых певцов Сталина. Обладатель необычного тембра и высочайшей вокальной техники. Выдающийся интерпретатор оперной, камерной и духовной вокальной музыки. Прозрачный, серебристый, ровный голос красивого нежного тембра со свободным верхним регистром, свободное естественное дыхание, тончайший музыкальный слух, большой художественный вкус, драматическое дарование позволили артисту создать вокально-сценические образы, вошедшие в историю советского оперного театра. Относясь с особым вниманием к слову, Козловский выявляет его музыкальную природу, придает важное значение музыкальной декламации, фразировке. Организатор и художественный руководитель Государственного Ансамбля оперы СССР (1938—1941), поставил ряд опер, исполнив в них главные партии («Вертер» Ж. Массне, «Паяцы» Р. Леонкавалло, «Орфей» К. Глюка, «Моцарт и Сальери» Н.А. Римского-Корсакова, «Катерина» Н.Н. Аркаса, «Джанни Скикки» Дж. Пуччини). Стремясь создать оперу-концерт с напряженным сценическим действием, добивался от артистов этого ансамбля синтеза пения и драматической игры. Большое место в творческой жизни занимала концертная деятельность (выступал с 1919 года). Элегичностью, широтой эмоций, многогранностью настроений отмечено его исполнение романсов М.И. Глинки, А.С. Даргомыжского, П.И. Чайковского, С.В. Рахманинова, он был также тонким интерпретатором произведений Л. Бетховена, Ф. Шуберта, Р. Шумана, Ф. Листа. В обширный камерный репертуар певца входили старинные романсы, русские и украинские народные песни, исполнил и записал ряд произведений И.С. Баха (арии из кантат и книгу напевов Шемели), до наших дней дошли записи его соло во «Всенощной» Рахманинова, в «Разбойнике благоразумном» Чеснокова и ряде других православных песнопениях. Козловский внёс большой вклад в музыкальную сокровищницу России, посещая деревни, слушая, обрабатывая и исполняя деревенские напевы, романсы, страдания. Так, он нашёл, записал на ноты и исполнял романс «Я встретил вас…», который впоследствии стал чрезвычайно популярным у певцов, также записал и исполнил программу, состоящую из украинских рождественских колядок. В годы Великой Отечественной войны работал в городе Куйбышев (ныне - Самара), куда был эвакуирован Большой театр, неоднократно выезжал в составе концертных бригад в действующую армию (1942, Западный фронт; 1943, Степной фронт). Давал многочисленные концерты в Фонд обороны страны, выступал в госпиталях. Козловский выступал с сольными концертами до 87-летнего возраста.