С изменением политической ситуации в конце 60-х годов, когда помимо угрозы всеобщей ядерной войны, возникла вероятность локальных конфликтов с использованием обычного оружия, советским ВВС потребовался легкий ударный самолет с возможностью нанесения ударов по наземным и морским целям. Для этого машина должна была вмещать в себе свободнопадающие бомбы малого калибра в большом количестве, а также оборудование и вооружение, включающее дальномер лазерного типа, прицельно-навигационную систему, управляемые ракеты «воздух—поверхность».

Так как у ОКБ А.Микояна был опыт создания тактических ударных самолетов, то работы были поручены именно его коллективу. Для разработки самолета принципиально новой конструкции требовались немалые финансовые затраты, поэтому было решено в качестве базового использовать истребитель МиГ-23. Следовательно, создание бомбардировщика МиГ-27, по сути, являлось развитием линейки МиГов с обозначением 23Б, 23БН, 23БМ и 23БК. В связи с тем, что истребитель-бомбардировщик был предназначен в основном для малых высот на околозвуковой скорости, то требования к скоростным характеристикам были уже не столь высокими, из-за чего отпала необходимость в установке регулируемого воздухозаборника, отсутствие которого сделало конструкцию МиГ-27 более простой и легкой.

Изначально это был практически тот же самый МиГ-23, в котором изменили прицельное оборудование, а хвостовую часть фюзеляжа дополнили двумя узлами подвески бомб. Кроме того, его носовая часть приобрела совсем иную форму. Скошенный вниз цельнометаллический нос полумонокок, получился слегка приплюснутым из-за отсутствия РЛС и стал напоминать клюв утки, поэтому самолет получил прозвище «утконос». Благодаря такому строению носовой части значительно улучшился обзор из кабины вперед и вниз, а это соответствовало назначению машины для атаки наземных целей.