Як-28 явился результатом развития двух более ранних 26 и 27 моделей, при этом компоновочная система его конструкции осталась прежней. Это сверхзвуковой бомбардировщик, рассчитанный на два посадочных места. Изменения коснулись, прежде всего, двигателей, в качестве которых использованы новые модели Р-11АФ-300. Установлены они в гондолах, форма которых также была усовершенствована в плане аэродинамики, а коробка агрегатов теперь имеет верхнее расположение.

При изменении скорости набегающего воздушного потока происходит регуляция положения центрального тела воздухозаборников, которое при это либо выдвигается, либо убирается внутрь. Под крылом предусмотрено место для сбрасываемых топливных баков, емкость основных топливных баков, расположенных в фюзеляже, равна 3450 кг.

На вооружении Як-28 состоит одна пушка типа НР-23, бомбы для которой предусмотрены весом от одной до трех тонн. Для их размещения в фюзеляже предусмотрен специальный отсек. Общий вес самолета увеличился, по этой причине был увеличен размах крыла и площадь оперения.

Важной разработкой стала возможность атаки в сложных погодных условиях, которая обеспечивалась наличием прицельно-навигационного комплекса.
Первый полет был осуществлен 5 марта 1958 года.