5 марта 1958г. летчик-испытатель В.М.Волхов поднял в воздух новый сверхзвуковой бомбардировщик «129». Он стал преемником самолетов Як-26 и Як-27Р. Для получения более высокой сверхзвуковой скорости пришлось существенно изменить конструкцию машины. Установили новые ТРД конструкции С.К.Туманского в гондолах усовершенствованной аэродинамической формы. Воздухозаборники имели центральное тело. Оно могло выдвигаться или убираться в зависимости от скорости набегающего потока воздуха. Внутренние топливные баки вмещали 3540 кг топлива. Кроме того, могли подвешиваться два подвесных бака, оснащенных системой одновременного сброса. В процессе испытаний самолету присвоили наименование Як-28.
Любимец Сталина, авиаконструктор Александр Яковлев в годы Великой Отечественной войны заслуженно прославился своими истребителями, однако в последующие годы пальму первенства уступил своим конкурентам. Перехватчики Як-25 и Як-28П отнюдь не поражали современников своими летными качествами, а созданные на их базе истребители-бомбардировщики Як-28 вообще кроме изумления у техсостава ВВС ничего не вызывали - ну как можно подвесить бомбу в фюзеляже, отстоящем от земли всего на полметра! Приходилось выкапывать специальный ров и боком накатывать на него самолет. Почему боком? Да потому что при велосипедном шасси иначе сделать это просто невозможно.
Первая серийная модель Як-28 оснащалась радиолокационным бомбовым прицелом РБП-3. В 1960г. появились модификации Як-28И и Як-28Л. Первая оснащалась автономной радиолокационной системой «Инициатива», позволяющей обнаруживать цели самостоятельно. Вторая - системой дистанционного наведения на цель по сигналам нескольких наземных станций управления. Самостоятельно же выйти на цель бомбардировщик Як-28Л не мог. В этом же году появился Як-28БИ. В отличии от Як-28И он имел вместо пушки НР-23 новую, обладающую более высокой скорострельностью, двуствольную пушку ГШ-23Я. В 1963г. был создан фронтовой разведчик Як-28Р. Эта машина заменила устаревшие самолеты Як-27Р и Ил-28Р. На базе Як-28Р сделали самолет радиоэлектронной борьбы Як-28ПП. В 1960г. поднялся в воздух перехватчик Як-28П. Он предназначался для перехвата воздушных целей на малых и средних высотах в большом диапазоне скоростей днем и ночью при любой погоде. На самолете была установлена новая система вооружения, состоящая из двух управляемых ракет Р-30 (К-8М) и радиолокационной станции «Орел-Д». Одна из ракет оснащалась ИК ГСН, другая РЛС ГСН. По сравнению с перехватчиком Су-9 эта система была более совершенной и позволяла не только обнаруживать цель, но и производить пуск ракет на значительно большем расстоянии до нее. Кроме того, Як-28 обладал очень важным для перехватчика качеством - малой длиной разбега. На самолете была предусмотрена подвеска пороховых стартовых ускорителей, сбрасываемых после взлета. Для сокращения пробега при посадке из подфюзеляжного хвостового гребня выпускалась штанга с датчиком касания земли, после чего сразу же срабатывала система тормозных парашютов. Высокие взлетно-посадочные характеристики машины позволяли строить аэродромы с укороченной полосой в труднодоступных районах Крайнего Севера.
Як-28П был самой массовой модификацией самолета (больше 430 штук). Однако он официально на вооружение принят не был. В процессе серийного производства перехватчик модернизировали. Новая модификация самолета Як-28ПМ имела улучшенную бортовую РЛС и четыре ракеты (две средней дальности и две малой). В 1961г. самолет Як-28П демонстрировался на авиационном празднике в Тушило. В июле 1967г. Як-28ПМ был представлен на авиационной выставке в Домодедово.
Як-28 находился в эксплуатации больше двадцати лет, и состоял на вооружении только в СССР.