A Heaven & Hell története 2005 őszén kezdődött, amikor a kiadó kérésére a Black Sabbath 1980–82 és 1991–92 közti, Ronnie James Dio énekessel fémjelzett korszakát bemutató Black Sabbath: The Dio Years című válogatásalbumhoz az énekes és Tony Iommi gitáros három új dalt írt együtt.
Az új számokat a Dio-Iommi-Butler-Appice felállás rögzítette a stúdióban.
A csapat úgy döntött, hogy turnéra indulnak a Dio-korszak dalaival.
A jogi problémák elkerülése, és, hogy az Ozzy Osbourne nevéhez köthető Black Sabbath-tól megkülönböztessék magukat, az első Ronnie James Dio-val készült albumra utalva, felvették a Heaven & Hell nevet.
A március 30-i New York-i lemezbemutató koncertről egy élő CD/DVD felvétel is készült, ami augusztusban került kiadásra.
2007 októberében bejelentették, hogy egy teljes új album felvételét tervezi a Heaven and Hell.
A lemez másfél évvel később, 2009 áprilisában jelent meg The Devil You Know címmel.
Az albumot Amerikában a Rhino, míg Európában a Roadrunner adta ki.
A kislemezes "Bible Black" dalról elnevezett turné májusban indult.
November 25-én jelentették be, hogy Dionál gyomorrákot diagnosztizáltak.
Az énekes felépüléséig a koncertezést felfüggesztette a zenekar, majd 2010. Május 16-án jött a szomorú hír,
Dio elhunyt és ezzel a zenekar is megszünt.
Pontosabban sokadjára újra egyesülve Ozzy Osbourne-al, ismét Black Sabbath néven folytatják tovább.