Строительство и отделка дворца потребовали столь больших вложений, что в 1763 году граф Воронцов за долги был вынужден уступить его российской казне. По вступлении на престол Павла I дворец в конце 1790-х годов был передан Мальтийскому ордену, здесь же размещался Капитул российских орденов.

В 1798—1800 годах архитектором Дж. Кваренги во дворце устроена церковь Рождества Святого Иоанна Предтечи, а со стороны сада по его же проекту к главному корпусу пристроена Мальтийская капелла.

C 1810 по 1918 год во дворце размещался Пажеский корпус. После октябрьской революции здесь разместилась Первая Петроградская пехотная школа командного состава РККА, В 1937 году на базе этой школы образовалось Ленинградское пехотное училище имени С. М. Кирова. В 1955 году здесь же разместилось Суворовское военное училище.

Михаил Илларионович Воронцов (1714—1767) — граф, государственный канцлер; родился в 1714 г. Четырнадцати лет был определён камер-юнкером при дворе великой княжны Елисаветы Петровны и служил последней и пером своим, которым хорошо владел, и деньгами богатой своей свояченицы, жены его брата Романа.

Вместе с Шуваловым стоял сзади саней, на которых цесаревна поехала в казармы Преображенского полка в ночь провозглашения её императрицей; он же вместе с Лестоком арестовал Анну Леопольдовну с её семейством. За это Елизавета пожаловала его действительным камергером, поручиком новоучрежденной лейб-компании и сделала владельцем богатых поместий. 3 января 1742 г. Михаил Илларионович стал мужем Анны Карловны Скавронской, двоюродной сестры государыни. В 1744 г. был возведён в графское достоинство Российской империи и вслед за тем назначен вице-канцлером. В 1748 г. он едва не подвергся опале. На него пало обвинение в соучастии в заговоре Лестока, но ему удалось легко оправдаться от этого обвинения и вернуть себе расположение императрицы.

Первым владельцем усадьбы был канцлер и дипломат граф Михаил Илларионович Воронцов (1712 – 1767), дальний родственник императрицы и участник дворцового переворота 25 ноября 1741 года. В 40-е года он приобрел на берегу Фонтанки несколько земельных участков, простиравшихся до Садовой улицы, и решил создать пышную усадьбу с дворцом.

Главный трёхэтажный корпус расположен в глубине двора, чтобы городской шум не докучал сиятельным обитателям. Он имеет четырехугольный в плане двор. Два симметричных двухэтажных флигеля вынесены вперед и поставлены по красной линии улицы. Они были связаны с главным зданием полуциркульными переходами, которые позже разобрали. Растрелли ориентировал главный фасад дворца не на Фонтанку (как дворцы Аничков, Шереметевых), а на проложенную к тому времени садовую улицу.

План дворца характерен для подобных сооружений 40-х и 50-х годов XVIII века. К главному корпусу дворца со стороны заднего фасада примыкает второй П-образный корпус, образующий внутренний замкнутый двор с тремя въездами. Через малый двор был сделан выход в парк.

Главный фасад дворца решен традиционно для Растрелли: это композиция с тремя выступами-ризалитами, но в отличие от ризалитов других дворцов они менее объемны. Зато проработке каждого Растрелли уделяет особое внимание.

В центре дворца – огромная въездная арка, позднее заложенная и превращенная в крыльцо. По сторонам ее расположены группы колонн. Над колоннами – балкон, подчеркивающий центр фасада. Окна первого этажа украшают фигурные наличники. На замковых камнях – львиные маски, пример превосходной лепки, всегда широко используемой Растрелли на фасадах зданий. Простенки между окнами рустованы. Рустом подчеркнута и массивность первого цокольного этажа.

Второй этаж – парадный. Здесь окна большего размера, завершающиеся полуциркульными арками, наличники более украшений. Между окнами – сдвоенные колонны, а над проездной аркой – сдвоенные пилястры. Центральный ризалит завершается фронтоном, украшенным скульптурной композицией с гербом владельца, повторенный на обоих фасадах.

При хорошей освещенности главного фасада на нем резко сгущаются тени, которые подчеркивают объемность декоративных деталей: колонн, лепки, карнизов, скульптуры. На светлом фоне резко выделяется черный рисунок решеток. Плоскость стены здания почти совсем не ощущается.

Центр каждого из соковых ризалитов, подчеркнутый сдвоенными колоннами, завершается лучковым фронтоном, углы ризалитов украшены сдвоенными пилястрами. Наличники окон строже по рисунку, лепки меньше.

В решении фасада Воронцовского дворца применен особый архитектурный прием, позволяющий четко выделить центр. В композиции центрального ризалита подчеркнуты и вертикальные и горизонтальные линии, тогда как в боковых ризалитах – только вертикали.

Необычным сделал Растрелли и вход во дворец: в центральной арке слева и справа два портика с колоннами дорического ордера. В одном из них и была расположена парадная лестница, два марша которой вели во второй этаж; стены лестницы украшали росписи.