Otvoren 1969. godine, bio je jedan od prva tri značajna objekta koji su planirani na Novom Beogradu, pored zgrade CK KPJ i zgrade Predsedništva vlade FNRJ.
Arhitektonski konkurs za ovaj objekat, odnosno za državni reprezentativni hotel „Beograd”, kako je prvobitno planirano da se zove, raspisan je 1947. godine. Prvu nagradu dobio je Projektni zavod Hrvatske, poznati arhitekti zagrebačke škole moderne Mladen Kauzlarić, Lavoslav Horvat i Kazimir Ostrogović. Njihov projekat je predlagao beskompromisno modernistički koncipiran objekat, primeren ideji o Novom Beogradu kao savremenom gradu. Lokacija za hotel na Dunavskom keju, pored železničke stanice Zemun, određena je u Idejnom planu Novog Beograda arhitekte Nikole Dobrovića (1948).
Na osnovu prvonagrađenog rešenja i projekta, izgradnja hotela započela je već 1948. godine. Tada je, u saradnji građevinskih preduzeća i omladinskih radnih brigada, izvedeno složeno fundiranje na armiranobetonskoj ploči u koju je ugrađeno oko 3.800m3 betona, čije je betoniranje trajalo uzastopnih dvanaest dana, i završena je čitava armiranobetonska skeletna konstrukcija. Ali, već 1949. godine, zbog ekonomske krize koja je usledila posle političke krize razlaza sa SSSR-om i zemljama Varšavskog pakta, obustavljena je izgradnja Novog Beograda, a sa tim i izgradnja hotela. Radovi su ponovo obnovljeni tek 1960. godine, po izmenjenom projektu, koji je izradio jedan od autora prvonagrađenog rešenja na konkursu, arhitekta Lavoslav Horvat. Hotel „Jugoslavija” je potom građen punih šest godina (1961–1967), a otvoren je tek 1969. godine, kada su završeni enterijeri po projektima vodećih beogradskih arhitekata: Ivana Antića, Mirka Jovanovića, Vladete Maksimovića i Milorada Pantovića.
Kada je izgrađen, hotel „Jugoslavija” bio je najveći i najmoderniji hotel u SFRJ, sa sedam spratova i pratećim zgradama, 1.500 prostorija, 1.100 ležaja u 200 jednokrevetnih, 400 dvokrevetnih soba i 23 apartmana, restoranom sa 600 mesta i manjim restoranom sa 200 mesta i svim pratećim sadržajima.
