Гара Абульфаз оглу Гараев родился 5 февраля 1918 года в Баку в семье известного врача, профессора Абульфаза Гараева и Соны ханум Ахундовой-Гараевой. Отец композитора был заслуженным деятелем науки, ведущим педиатром Азербайджана и диагностом, а его мать Сона ханым окончила Бакинский филиал школы Святой Нины.

В 1926 году Гара Гараев был принят в музыкальную школу при Азербайджанской государственной консерватории. В 1930 году он поступил в класс фортепиано Бакинского музыкального факультета при Азербайджанской государственной консерватории. В 1935 году учился на факультете композиции государственной консерватории в классе профессора Леопольда Рудольфа.

Во время учебы он изучил основы азербайджанской народной музыки у профессора Узеира Гаджибейли, который впервые использовав ашугские мотивы в произведении для трио виолы, виолончели и фортепиано, вдохновил Гара Гараева на создание в 1965 году симфонической транскрипции произведения «Ашыгсаягы».

В 1937 году Г.Гараев стал членом Союза композиторов Азербайджана, а в 1938 году - студентом Московской государственной консерватории.

В том же  году он написал свое первое крупное произведение для хора, симфонического оркестра и танцевального ансамбля - кантату «Песня сердца» на слова Расула Рзы, а также принял участие в Декаде азербайджанского искусства в Москве.

В 1941 году Г.Гараев работал художественным руководителем Азербайджанской государственной филармонии имени М.Магомаева. В 1943-м он написал первую симфонию. В 1944 году стал заместителем председателя правления Союза композиторов Азербайджана. В 1946 году окончил Московскую государственную консерваторию имени П.И.Чайковского по классу композиции Дмитрия Шостаковича.

В 1946 году Г.Гараев работал преподавателем в классе композиции Азербайджанской государственной консерватории. В том же  году он был избран секретарем Правления Союза композиторов СССР. В 1948 году стал доцентом Азербайджанской государственной консерватории.

С 1950 по 1953 годы Гара Гараев был ректором Азербайджанской государственной консерватории имени Узеира Гаджибейли. С 1955 по 1976 год - депутатом Верховного Совета СССР IV-IX созывов. С 1956 по 1973 год - первым секретарем Союза композиторов Азербайджана.

Г.Гараев был не только гениальным композитором, но и ученым -  мыслителем с богатым мировоззрением, энциклопедическими знаниями, философскими обобщениями, широкой эрудицией и острым умом. Несмотря на то, что ученый не проводил специальных исследований в области музыкальной науки, теории и эстетики, он, тем не менее, оставил богатое научное и публицистическое наследие, множество статей, обзоров, отчетов и выступлений, интервью. Его мысли, идеи, взгляды позволили композитору занять почетное место в азербайджанском музыковедении.

Гара Гараев - автор опер «Родина», «Нежность», балетов «Семь красавиц», «Тропою грома», «Лейли и Меджнун», кантат «Песня сердца», «Песня о счастье», «Гимн дружбы»  и других произведений. 

Он воспитал огромное число студентов. Его ученики отличаются высоким профессионализмом и индивидуальностью, особенным, неповторимым стилем.

Гара Гараев был женат на Татьяне Нечаевой. От этого брака у них родилось двое детей - сын Фарадж и дочь Зулейха.

Композитор скончался 13 мая 1982 года в Москве и был похоронен на Аллее почетного захоронения в Баку. Автором его надгробного памятника является архитектор Талят Ханларов.