赫伯特·冯·卡拉扬于1908年出生在奥地利的萨尔茨堡，这里曾经诞生过世界上最伟大的天才作曲家莫扎特。卡拉扬的家庭原籍是希腊。自他的祖辈移居到奥地利以后，这个家族就不断地出现著名的人物，由于祖上的功名着著，先后有两名成员被当时的奥皇封为男爵，所以他的家庭一直是属于贵族家庭的，卡拉扬全名中的“冯”字，即是一种贵族的标志。卡拉扬的父亲是一位医生，但他同时又是一名出色的业余音乐家，经常在莫扎特音乐学校的管弦乐队中演奏单簧管。受父亲的影响和家庭音乐环境的熏陶，卡拉扬从很小便显露出了极为出众的音乐才华。他从四岁开始学习钢琴，八岁时就已经举行了公开演奏会，由于才华和技艺的出众，他曾被当时的舆论界公认为未来最有前途的钢琴演奏家。卡拉扬早年曾在家乡的莫扎特音乐学校中学习，在这里，他曾受到该校校长的特殊关怀，这位校长是第一个发现卡拉扬的天才人物，他处处像慈父般地关心着卡拉扬，并且还介绍他去著名的意大利美术馆中去学习绘画和雕塑，自然，这种对姊妹艺术的了解和学习，对于卡拉扬以后的艺术成长起到了十分积极的作用，卡拉扬日后在指挥时所表现出的丰富色彩变化和雕塑般的音乐造型艺术，大概都是受益于此的。到了十几岁以后，卡拉扬便离开了自己的故乡而来到了维也纳，他同时在维也纳国立音乐学院和维也纳大学中学习钢琴、指挥和音乐学，起初，卡拉扬一直是将成为钢琴大师来作为自己的奋斗目标的，后来，由于他的手指出了毛病，才不得已而转到了指挥系学习。他在这段时间里，用心倾听了维也纳歌剧院所上演的理查·施特劳斯和普契尼的全部歌剧作品以及亨德米特、克申涅克和斯特拉文斯基的许多现代派歌剧，同时还大量观摩了像富尔特文格勒、克劳斯、托斯卡尼尼和瓦尔特等指挥大师们的排练和演出，从中学到了很多他所渴望学到的东西。
卡拉扬首次登台指挥是在1928年，当时他是在他的教师冯德勒所主办的一次学生音乐会上首次表演的，这一次，他指挥了学校的学生管弦乐队演奏了罗西尼的《威廉·退尔》序曲，这次演奏的成功，受到了很多在坐的人们的好评，而20岁的卡拉扬，也终于首次尝到了作为一名指挥所具有的独特味道。从大学毕业以后，卡拉扬便马上遇到了选择和寻找职业的问题，由于他感到在人才济济的维也纳没有什么指望，便回到了自己的家乡萨尔茨堡，在这里，他有着父母、朋友和熟悉他的人的支持，也有着当年自己作为神童钢琴家时所留下的影响和印迹，他意识到，自己的艺术生涯还是应当从这里起步，于是，当他回到萨尔茨堡之后，便开始精心策划了一场较有影响的音乐会，经过各方面的努力，音乐会被确定举行了，卡拉扬将在这里指挥莫扎特音乐学院的学生乐队演出，在他的演出节目单上，赫然地印着这样一些曲目：柴科夫斯基的《e小调第五交响曲》，莫扎特的《A大调钢琴协奏曲》和理查·施特劳斯的交响诗《唐璜》。音乐会的演出很成功，人们不住地向这位青年指挥家报以掌声。然而这场音乐会的最重要的意义却并不在于此，谁也没有想到在音乐会的观众席上，坐着乌姆市歌剧院的院长，这位院长在听完了卡拉扬指挥的音乐会后，立即跑到后台找到了这个小伙子，同时向他宣布将聘请他担任乌姆市歌剧院的常任指挥，就这样，卡拉扬平生第一次有了一个作为指挥的正式职业。
卡拉扬与乌姆市歌剧院的合作从一开始就体现出了创业的艰难，乌姆市不同于维也纳和萨尔茨堡，这是一个文化和其它方面都不很发达的小城市，而乌姆市歌剧院则更是一个仅有着十几个人的乐队和二十几个歌唱演员的戏班子，但这一切却并没有阻止住卡拉扬的天才的发挥，经过他不懈的努力和勤奋的工作，居然在1929年的3月上演了莫扎特的歌剧《费加罗的婚礼》，这的确不能不说是卡拉扬所创造的一项奇迹。从这以后，卡拉扬便以自己的韧毅力和刻苦精神，苦苦地经营着这个剧院，使其在自己的任期从各方面都得到了很大的发展。在他领导这家剧院的五年时间，每年都要上演大约六部歌剧，而在这些歌剧中，竟包括着像瓦格纳的《纽伦堡的名歌手》和理查·施特劳斯的《莎乐美》这样的艰而大型的作品。除此之外，他还指挥该院乐队举行了为数众多的音乐会，从而使乌姆市的音乐生活变得异常丰富起来。然而好景不长，五年后他突然被乌姆市歌剧院解除了职务，据说这次解职由于剧院经理看中了他身上的天才而不愿意将他埋没在小小的乌姆市的原故，故而善意地将他推向了只能前进，不能后退的绝境，逼迫他到更加广泛的天地中去参与竞争，这个传闻是否可信姑且先不谈，而事实上的卡拉扬却的确是失了业，一夜之间，卡拉扬竟变成了一无所有的流浪汉。然而，真金毕竟是不怕火炼的，也许是正中了那个传闻中所讲的原因，卡拉扬在经过多次异常艰苦的奔波和竞争后，终于受聘担任了亚琛歌剧院音乐指导的职务。亚琛歌剧院比起乌姆市歌剧院来说，各方面的条件都要优越得多，这里有着大型的乐队和合唱队，也有着良好的剧场和有修养的听众，卡拉扬在这里得以很好地发挥了自己的才能，在亚琛歌剧院任职间，他有机会指挥了瓦格纳庞大的四联剧《尼伯龙根的指环》，同时他也开始作为一名小有名气和影响的青年指挥而被邀请到柏林，维也纳和一些其它的欧洲名城中去担任客席指挥了。
1937年，卡拉扬应大指挥家布鲁诺·瓦尔特的邀请赴维也纳指挥维也纳歌剧院演出了瓦格纳的歌剧《特里斯坦与伊索尔德》，虽然这是一次成功的演出，但卡拉扬本人却对此行很不愉快，因为实际上在他到达维也纳时，才知道他与乐队的排练计划已被取消，这使得他不得不在基本上没有排练的情况下进行演出，而更使他不满的是，那些担任主角的歌唱演员排练时想来就来，想不来就不来，给排练和演出都带来了很大的困难。演出结束后，维也纳歌剧院曾邀请卡拉扬担任永久性的指挥，然而卡拉扬却拒绝了，他经过比较之后，还是更喜欢在亚琛歌剧院工作。这次维也纳之行使他得出了一个经验，他在自传中说到：“通过这次演出，我得出了一个结论，那就是今后只有对我来说时机成熟了，我才再来维也纳指挥。” 但是，这次演出的确是一次成功的演出，卡拉扬本人也通过这次演出而得到了越来越多的人的了解。就在他赴维也纳演出后的第二年，柏林国家歌剧院由于富尔特文格勒受“亨德米特事件”的影响被解职而空出了常任指挥的位置，剧院经理铁特金一下想到了卡拉扬，于是便邀请他来指挥拍林歌剧院的演出，在经过一番艺术和权力上的讨价还价以后，卡拉扬终于来到了柏林国家歌剧院，他在这里首先上演了贝多芬的《菲德里奥》，瓦格纳的《特里斯坦与伊索尔德》和《纽伦堡的名歌手》等歌剧，一下便取得了惊人的成功，但这时的卡拉扬却仍然没有放弃自己在亚琛的职务，直到1941年，他才正式辞去了亚琛歌剧院的职务而专心在柏林工作了。
卡拉扬在指挥舞台上活跃70年。他带领过欧洲众多顶尖的乐团，并且曾和柏林爱乐乐团有过长达34年的合作关系。他热衷于录音和导演，为后人留下了大量的音像资料（到1988年为止他发行超过1亿张唱片约700款录音），包括众多的管弦乐，歌剧录音和歌剧电影，涵括从巴洛克到后浪漫主义欧洲作曲家的作品。其中一些作品，如贝多芬的交响曲还被多次录制。卡拉扬在音乐界享有盛誉，甚至在中文领域被人称为“指挥帝王”。
1908年4月5日是一个晴朗的星期天，恩斯特夫妇再获一子，取名为赫里伯特（Heribert Ritter von Karajan），即是后来的赫伯特。萨尔茨堡是一个有着浓郁音乐气息的城市，莫扎特的故乡，每年有名的萨尔茨堡音乐节就在此拉开帷幕。卡拉扬一家非常热爱音乐。父亲恩斯特会弹钢琴，演奏单簧管，还经常参加莫扎特音乐学院乐团和萨尔茨堡州立剧院的各种活动。城里的音乐家都很乐意和这一家子来往。父亲除了带孩子上交响音乐会外，还时常在家里举办小型的音乐会。不难理解，兄弟两人很早就接受钢琴训练，年长的沃尔夫冈首先学习音乐，到了1912年，赫伯特4岁时，也开始跟随弗兰兹·列德文卡学习钢琴。他从8岁起就在萨尔茨堡莫扎特音乐学院学习基础，为时10年。这音乐教育是多方面的，除了继续跟随弗兰兹·列德文卡学习钢琴外，他还在萨尔茨堡的教堂唱诗班中参加合唱，另外更是师从弗兰兹·绍尔学习和声。值得一提的是卡拉扬作曲和室内乐的老师博尔哈德·包恩伽特勒（Bernhard Paumgartner），他很快就发现了卡拉扬身上的潜能，并对之显示出父亲般的关怀。卡拉扬经常驶着老师的军用摩托车在郊野狂飙。包恩伽特勒不但诱发了卡拉扬对绘画和雕塑的兴趣，也正是他鼓励卡拉扬后来走上指挥道路。
其实，两位家长才是赫伯特最重要的老师。在卡拉扬的家里，儿子们要用“您”（德语：Sie，是德语中的敬称）称呼家长。恩斯特是一位严谨的人。他每天步行25分钟上班，在路上将快要进行的手术通盘琢磨。这种作风无疑也深深地影响着日后的赫伯特，让他养成事事做足准备的习惯。母亲则是一位乐善好施的好人。卡拉扬12岁时，一次他在爬楼梯的时候失足，从20米高处堕下，脚部关节和脊椎受伤，后遗终身，母亲马塔对之的关怀照料令人动容。
据卡拉扬的自述，他曾因自己在钢琴方面的早熟，被人称为“神童”，不过他从没为这一称号而去耗费力气。经过5年的钢琴课，卡拉扬终于在1917年1月27日第一次以钢琴家身份在莫扎特纪念日里登台演出。两年之后的1月26日，他在老师包恩伽特勒的指挥伴奏下，以独奏家身份演奏协奏曲。
维也纳（1926年—1929年）
但这些音乐方面的小成就似乎还不能让他的双亲立下心思，让年青的卡拉扬将来以音乐为生。母亲马塔总希望卡拉扬能当上一名银行职员。务实的父亲则曾劝他说：“我知道你有音乐方面的天份，但你总得学一些实用的技术来糊口。”为了顺从父亲的意愿，卡拉扬在1926年以毕业论文《热力学与内燃机》完成萨尔茨堡莫扎特音乐学院的学习后，即去了维也纳进入维也纳工业高校学习。不过他并没有离音乐而去，而是坚持学习，所以他在研修技术的同时，还在维也纳大学入读音乐科学系和在维也纳音乐与表演艺术学院学习。他在维也纳跟随新老师约瑟夫·霍夫曼学习钢琴，还同时向亚历山大·温德尔（Alexander Wunderer）和弗朗兹·绍克（Franz Schalk）第一次学习他日后的职业：指挥。年轻的卡拉扬当时具有一个钢琴演奏家的一切音乐才能。不过后来，一如罗伯特·舒曼，卡拉扬手指的腱鞘严重受伤，即使他本人作了一些荒诞的尝试以使之痊愈，也没见好转，这让他不得不在通往钢琴家的路上止步，而将之转到指挥的前途上。
亚历山大·温德尔在维也纳音乐生活中有一定的影响力，但作为老师，他就未必胜任。卡拉扬对指挥的知识主要不是来自于老师，而是职业实践本身。但卡拉扬在维也纳却学到了很重要的东西，歌剧剧目和更难得的—当时维也纳的顶尖歌剧表演：当时卡拉扬并没有什么机会指挥乐队进行实践，却和同学想到办法来打发时间。
1928年12月17日，卡拉扬迎来了自己的第一次指挥登场，指挥学院乐队演奏罗西尼歌剧《威廉·退尔》的序曲。但是他可能意识到，当时毫无名气的他在维也纳很难找到工作，于是他决定回去萨尔茨堡一试。过了一个多月，为了展示自己的才能，这位年轻的指挥家在家乡作了自己的公开亮相，他延请并指挥了莫扎特音乐学院乐团，曲目是施特劳斯的《唐璜》和柴可夫斯基《第五交响曲》。演出很成功，并且，卡拉扬为自己赢得了机会—乌尔姆市立剧院的经理邀请他到自己的剧院试奏。经理在再听过卡拉扬的指挥后，决定聘任这位年轻人在剧院指挥歌剧，月薪约为20美元。当时卡拉扬跟经理说道，自己并未指挥过任何歌剧，要接受这工作他得先研究一下。经理回答得很简单：“没问题，你过来研究就行了。”于是，乌尔姆之职成为了卡拉扬指挥事业的正式起点。
亚琛，纳粹，柏林（1934年—1945年）
1933年纳粹党上台，德国音乐人才急剧衰减。就在那一年，布努诺·华尔特，克伦佩勒，埃里希·克莱伯，弗里兹·布什被迫离开德国。有着犹太血统的作曲家作品被禁，门德尔松，马勒或是荀白克都在此列。而欣德米特的歌剧《画家马蒂斯》被禁，富特文格勒为此大闹纳粹，辞去了其身上所有的终身职务，以47岁的年纪暂时退休。
而在这些大事发生不久之后的1934年，卡拉扬得到了一个重要的职位—亚琛市立剧院音乐会指挥和歌剧总监。这个剧院比乌尔姆的高一个档次，乐团有70多人，合唱队300人，而且带领合唱队的正是日后扬名合唱界的威廉·匹兹（Wilhelm Pitz）。以这样的人员，卡拉扬迫不及待地上演了瓦格纳的《尼伯龙根的指环》。而亚琛也是卡拉扬到柏林和维也纳的跳板。1934年8月21日，他在私人晚会上首次与维也纳爱乐管弦乐团合作，演奏了德布西和拉威尔的作品。到了1935年4月12日，卡拉扬更是被任命为亚琛市立剧院音乐总监。卡拉扬以他当时27岁的年纪，成为了德国最年轻的音乐总监。但是，卡拉扬得作出一项妥协：加入纳粹党。
1937年6月1日，卡拉扬受布努诺·瓦尔特之邀，首次到维也纳国家歌剧院指挥，剧目是瓦格纳的《特里士坦与伊索尔德》。这是一场令人瞩目的胜利。但卡拉扬也领略到了维也纳歌剧院的艰难工作条件：大排练被取消，小排练里主角们唱两句就要离去办点私事。日后的1956到1964年，卡拉扬会更真切地体会到这些难处。而同在1937年，卡拉扬被邀请去指挥一支柏林的管弦乐团，但卡拉扬拒绝了，因为乐队不能给他任何时间去排练。不过很快，到了1938年，乐队就同意了卡拉扬的要求，先排练再演出。于是卡拉扬就在4月8日，首次和这支乐队合作，指挥了莫扎特《“哈夫纳”交响曲》（“Haffner”，亦即第35号交响曲），拉威尔第2号达夫妮与克劳伊组曲和勃拉姆斯的《第四交响曲》。而这支乐团，就是日后和卡拉扬合作35年的柏林爱乐乐团。
而在个人方面，卡拉扬在1938年7月26日与亚琛轻歌剧首席女歌手艾米·霍格罗夫结婚，两人在亚琛附近的树林里拥有一座房子。但是卡拉扬关注得更多的是其事业。而霍格罗夫与戈林夫人的友好关系帮助了卡拉扬进军柏林。1938年9月30日他得到了在柏林国家歌剧院指挥的机会，剧目是贝多芬的《费德里奥》。而到了10月21日，是卡拉扬的胜利时刻。他指挥的《特里士坦与伊索尔德》引起国际轰动。柏林音乐评论家范·德·努尔（van der Nuell）称之为“神奇的卡拉扬”（das Wunder Karajan）。
不管有没有范·德·努尔的评论，卡拉扬开始在柏林扬名。虽然他被富特文格勒掌管下的柏林爱乐拒之门外，但是卡拉扬还是成功在柏林立足，他在1939年11月同时接受了柏林国家歌剧院乐队长和普鲁士国家乐团音乐会指导两职。他还在1940年2月18日于理查·施特劳斯面前上演了其歌剧《埃莱克特拉》，并得到作曲家的首肯。卡拉扬也到过被占领的巴黎演出瓦格纳的作品。而且其录音生涯也即将开始，他与德国唱片公司签下第一份合约期至1943年。卡拉扬的第一个正式录音，是指挥柏林国立乐团演绎莫扎特的魔笛序曲（这些早期录音为DG公司近期结集发行。
二战后（1945年—1954年）
虽然第二次世界大战在1945年结束，但盟军对其前纳粹党员的身份要进行调查，再加上富特文格勒的阻挠，卡拉扬的半退休状态似还没有尽头。他被禁止在德国和奥地利演出。不过有一次例外：1946年1月12日卡拉扬在维也纳爱乐之友协会与维也纳爱乐乐团合作。本来他还被邀请去指挥莫扎特的费加罗的婚礼和理查·施特劳斯的《玫瑰骑士》（Der Rosenkavalier，又译：蔷薇骑士），但演出就在最后一刻在苏联方面的坚持下被迫取消。
幸好此时卡拉扬得到了两个人的帮助，走出了困境，成功复出。一位是华尔特·李格（Walter Legge），当时英国EMI公司的古典音乐唱片制作人。另一位则是卡拉扬的导师和好友，指挥家维克多·德·萨巴塔（Victor De Sabata）。
1947年10到12月，卡拉扬与维也纳爱乐乐团合作为EMI录制了贝多芬《第八交响曲》和《第九交响曲》（后者的合唱部分由维也纳歌唱协会合唱团（Wiener Singverein）担任，该合唱团于当年10月第一次与卡拉扬合作），还有舒伯特的《第九交响曲》和布拉姆斯的《德意志安魂曲》（Das deutsche Requiem）。
非纳粹化后的卡拉扬，很快就成为了欧洲音乐生活的中坚力量之一。1948年行程紧密。卡拉扬不但开始了与卢塞恩国际音乐节的合作（两者的合作关系持续到1988年，1960年除外），还参加了当年的萨尔茨堡音乐节，包括格鲁克的奥菲欧与埃雨迪克，莫扎特的费加洛婚礼，还有两场音乐会，曲目分别是海顿，理查·施特劳斯，贝多芬和勃拉姆斯的作品。而任职方面，他一方面接受了维也纳歌唱协会终身艺术指导和维也纳交响乐团（Wiener Symphoniker）首席指挥两职，并将它们训练成一流的音乐团体。而另一方面在伦敦，他则与由李格组队的爱乐管弦乐团（the Philharmonia）紧密合作，并在接下的几年陆续制作了一系列名盘，如和钢琴家李帕蒂合作录制舒曼的钢琴协奏曲，和圆号手丹尼斯·布莱恩（Dennis Brain）录制了莫扎特的圆号协奏曲，和李格的夫人伊丽莎白·施瓦兹科普夫录制的一系列歌剧：《蝙蝠》，《法斯塔夫》，《汉塞尔与格蕾太尔》，《阿里阿德涅在纳克索斯》和《玫瑰骑士》，还有他自己的第一套贝多芬交响曲全集。1952年，他带领了这支乐队做了第一次欧洲大陆之行。
而从1949年起，卡拉扬开始经常与米兰斯卡拉歌剧院合作，并成为其德国演出季的指导。卡拉扬对歌剧制作细致入微，排练数以月计。所以在那里他虽然每年只将一到两部歌剧搬上舞台，但却是部部精彩。值得一提的是，卡拉扬在此曾与有着“歌剧女神”之称的玛丽亚·卡拉斯数度合作，如1954年有名的《拉美摩尔的路契亚》（Lucia di Lammermoor），并且为EMI留下了诸如《游唱诗人》，《蝴蝶夫人》等歌剧的录音。
1949年，卡拉扬再度在萨尔茨堡音乐节上指挥维也纳爱乐乐团和维也纳音乐之友协会歌唱协会合唱团演奏威尔第和贝多芬的作品。不单是他故乡的音乐节，就是拜鲁伊特也向卡拉扬招手。1951年这个几度风霜的华格纳音乐节战后重开。该年的音乐节是一次名副其实的盛事。华格纳的两位孙子维兰·华格纳和沃尔夫冈·华格纳首次上任制作。各地有名的华格纳歌手齐集一堂。卡纳匹兹布什为观众展现了他对华格纳作品诠释的独特魅力—《帕西法尔》。而富特文格勒也到场指挥了一次令后世难忘的贝多芬《第九交响曲》。而卡拉扬作为后辈，则在7月27日的音乐节开幕当晚指挥了《纽伦堡的名歌手》全剧，以及和卡纳匹兹布什携手指挥了《戒指》。次年，卡拉扬再度登台拜鲁依特，指挥了《特里斯坦与伊索尔德》。这两次登台，皆有录音，而且深得好评。其中《纽伦堡的名歌手》和《特里斯坦与伊索尔德》的演绎甚至被奉为卡拉扬所有诠释之最佳。但是就在这两次成功的演出之后，卡拉扬就再也没有重登拜鲁伊特的舞台。
临危受命
战后的柏林爱乐几经危机，除了乐队本身需要重建，人员要添补外，首席指挥问题始终需要解决，先是首席指挥里奥·波查德特（Leo Borchardt）被占领区士兵射杀，后来由年轻的谢尔盖·切利比达奇（Sergiu Celibidache）短暂接掌。1947年富特文格勒归来，但在种种内外因素的作用下，他要一直待到1952年才下定决心出任乐团首席指挥一职。但此时的富特文格勒已经力不从心。他的耳聋日渐严重，他需要西门子公司为指挥台安装线路设备，以便听到乐队的声音。而且富特文格勒人缘欠佳，与其他指挥以及乐队成员的关系都比较紧张。早在1954年11月30日富特文格勒肺炎逝世前，柏林爱乐乐团就要考虑其继任人问题，而候选人都是当时指挥界的能人：克鲁依坦，切利比达奇，约胡姆，舒里希特，还有卡拉扬。
富特文格勒在1948年重返舞台，同时也意味着卡拉扬一直在维也纳，柏林和萨尔茨堡这些音乐重镇之前不得正门而入，加上卡拉扬身系繁忙的任务，所以他只得零星的机会与柏林爱乐乐团接触。
到了1953—54年，卡拉扬与柏林爱乐合作日益频繁，他们不但录制了贝多芬的英雄交响曲，还共同出席节日周音乐会（Festwochenkonzert）。这些演出得到了当时乐评家的热烈赞赏。
经过这短期的磨合，卡拉扬的继任只是时间问题。54年11月30日富特文格勒逝世，正是柏林爱乐美国之行的前夕。当时卡拉扬正在罗马一所酒店里。他的秘书给他递上一封来自维也纳发出的匿名电报，上书“Le roi est mort, vive le roi.”（法语：老王驾崩，新主万岁。）就在第二天，柏林爱乐乐团经理格哈德·冯·韦斯特曼（Gerhart von Westerman）就立刻打电话给卡拉扬，请后者出任乐团首席指挥一职。韦斯特曼打这个电话可能有多方面的原因，其中之一就是在纽约负责乐团访美事务的有关方面致电他道：除非卡拉扬指挥，否则乐队的旅美之行，免谈。
至于卡拉扬方面，这支乐团正是他日思夜想要拥有的。他曾说我一定要得到这支乐团，因为他的素质让我着迷，而且我也知道，和这支乐团一起我将能有什么样成就。我要一份终身合同，理由只有一个：我要在这支乐团身上花很多时间，以求他能与我最终同心同德。我不能让一个新来的议员说着说着就结束我俩的合作关系。我必须承认，这支乐团通过几十年的成长，正是成长为我梦寐以求的样子。
不过当时他还有斯卡拉的合约在身。为此卡拉扬与他的朋友兼老板吉永高利（Ghiringhelli）进行了一次面谈，后者很清楚柏林爱乐的职位对卡拉扬的意义，很爽快地同意了卡拉扬的跳槽。
另一方面，柏林爱乐乐团的成员也投票通过了对卡拉扬的任命，意味着卡拉扬将带领乐团旅美。不过卡拉扬在这时提出了一个条件，就是任命文书要在出发之前面交到他的手上并且其任命要得到官方确认。
1955年初，这对新组合踏上了前往新大陆的航班。该次出行赞助人就是西德总理阿登纳。不过就在乐团和卡拉扬到达纽约约翰·肯尼迪国际机场的前一周，一阵反对的浪潮差一点就扼杀了这一次巡美演出。美国音乐家联盟和“地方802”（Local 802）在2月20日《纽约时报》头版刊登了一篇文章，名曰《音乐家反对纳粹带领的柏林乐团在此举行的音乐会》。其实从2月8日到27日乐团正式在华盛顿拉开访美帷幕这段时间内，纽约时报几乎天天报道反对卡拉扬战时纳粹身份的抗议声音。韦斯特曼在“地方802”文章刊出后一天声明，自己与卡拉扬虽然的确加入过纳粹党，但只是纯粹地为了在当时能继续工作下去。虽然这声明更多的是煽动了反对派的气焰。不过这些反对最终还是未能成功，原因很简单，因为这次巡回是由西德政府出资的。
2月25日乐团抵达美国，一切平静。卡拉扬对此一切只是做了一简短的声明：“我不谈政治，我只是作为一位音乐家来到这里。”卡拉扬与柏林爱乐在接下来的6个星期以其声音打动了美国听众和乐评界。他们分别在华盛顿，纽约卡内基音乐厅，辛辛那提和巴尔的摩等城市演出。乐评总体来说是正面的。而抗议的声音则在纽约演出之时到达高潮，卡内基门外有人抗议，还有人放飞带有反对标语的鸽子。但即使这样，演出的进行也没有受到影响。
这次美国之行，是一次真真正正的试用期。卡拉扬要向三方面交答卷：一是观众和乐评人，二是柏林爱乐乐团，三是西德政府。不但是艺术方面，卡拉扬还必须在道德和政治方面要表现成熟（例如在美国时言行是否得体，是否会被反对声音打压下去），才能显示自己可胜任柏林爱乐首席一职。卡拉扬不负众望，早在3月5日卡拉扬一行还在匹兹堡逗留时，就已传出乐团大部分成员投票赞成卡拉扬成为他们第四任常任指挥的消息。而等到他和乐团返德之后几天，其任命被柏林政府确认。卡拉扬再一次被问道，他是否愿意继承富特文格勒衣钵，带领柏林爱乐乐团。他回答道：“万分欢喜地接受。”于是，柏林爱乐的权杖历经汉斯·冯·彪罗，尼基什和富特文格勒，终于传到卡拉扬手上。
欧洲音乐总指导
1956年到1971年，卡拉扬在欧洲炙手可热。他先是出任了萨尔茨堡音乐节艺术指导，历时4年。在1957年，除了率领柏林爱乐乐团首次访问日本之外，他还接受聘任成为维也纳国家歌剧院艺术指导，以一改这座历史悠久的歌剧院颓落之势。在他身上的职称还有：1967年成为柏林爱乐乐团终身指挥，维也纳歌唱协会终身指导，米兰斯卡拉歌剧院首席指挥之一，1969到1971年继去世的查尔斯·孟许（Charles Munch）担任巴黎管弦乐团音乐顾问。
1959年，卡拉扬除了和维也纳爱乐在59年秋季巡回印度，菲律宾，香港和美国等地演出外，还再次为DG公司录音，和柏林爱乐乐团制作出自己第一张立体声唱片，理查德·施特劳斯的《英雄生涯》，这同时也标志着柏林爱乐，卡拉扬和德国唱片公司铁三角长时间的合作的开始。当时的卡拉扬虽然与EMI有录音合约在身，但是柏林爱乐却与德国唱片公司签下过合同。因此合约需要进行修改，使得这对组合能同时为两家品牌录音。在EMI旗下卡拉扬的录音活动后来一直持续到1984年，并录制了不少歌剧，另外还有一些不曾为DG录制过的作品，例如舒伯特的交响曲全集。
有了柏林爱乐和大唱片公司作后盾，卡拉扬就开始有计划大规模地录制古典音乐世界里的管弦乐作品。不过，1959到61这三年间，他只是很谨慎地录制了一些管弦乐炫技曲（Showpieces），例如布拉姆斯的《匈牙利舞曲》和安东尼·德沃夏克《斯拉夫舞曲》中的几首，还有德里布和肖邦的一些舞曲，不过这些录音一朝制成，即成经典。到了61年末，卡拉扬终于开始有大行动，为DG公司录制乐圣贝多芬的全套交响曲，并在62年完成，即俗称的“红卡”。时至今天，纵然市场上有着难以胜数的贝多芬交响曲全套，但是这套录音依然光彩夺目，饱受赞赏。其实，卡拉扬早在接手柏林爱乐乐团时，就已经开始准备这套录音制作。在第一次美国之行前夕，他就排演了《第五》。《第七号》他在55到59年上演过三次。到了开录前，除了《第二》和《第八》，他已将其他交响曲在音乐会上过了最少一遍。
以同样的精心准备，卡拉扬和乐团在63，64年还录制了勃拉姆斯的交响曲全集，巴赫的《勃兰登堡协奏曲》。而柏林爱乐乐团终于在1963年10月15日迎来了自己的家—柏林爱乐大厅。这座大厅是应卡拉扬的技术标准而建成的。一如瓦格纳为拜鲁伊特节庆剧院在开幕之际所做的一样，卡拉扬指挥乐团演奏了贝多芬的《第九交响曲》，以示喜庆。
指挥风格
指挥特点
卡拉扬力图将托斯卡尼尼的忠于原谱和富特文格勒的即兴发挥融为一体。他的指挥动作洒脱大方，时而充满激情，时而又细腻精致。在指挥台上他经常闭目深思，使得乐队各声部之间达到了演奏室内乐般的默契。在他的领导下，柏林爱乐乐团展现出了一种有如金属般的亮色，被誉为卡拉扬“音响”。
卡拉扬最擅长的是浪漫主义时期的德国、奥地利作曲家的作品，如：贝多芬、勃拉姆斯、门德尔松、舒曼、瓦格纳、布鲁克纳、马勒、理查·施特劳斯。另外，对于近现代作曲家，如：德彪西、拉威尔、西贝柳斯、尼尔森、肖斯塔科维奇，他都有着非常精彩的演绎。
德奥音乐
虽然卡拉扬涉猎广泛，但不能否认，他指挥的作品以德奥作曲家的创作为主。他录制过四次贝多芬，勃拉姆斯的交响曲全集，舒伯特，门德尔松，舒曼，布鲁克纳的全套交响曲，莫扎特，海顿的部分交响曲，瓦格纳全套拜鲁伊特剧目，另外还有施特劳斯的圆舞曲，理查·施特劳斯的音诗和歌剧等等。另外现代派作曲家，如在汉斯·维尔纳·亨泽（Hans Werner Henze）之前卡拉扬也有过受到作曲家本人肯定的表现。卡拉扬华丽光滑的处理手法在这些德奥古典作品中得到很好的体现，弦乐绵密厚实，铜管靓丽粗壮。而他在《企鹅唱片评鉴》里面获得三星带花评价的作品，多为该体系的作品：理查·施特劳斯的《死与净化》，歌剧《阿里阿德涅在纳克索斯》，莫扎特的《女人皆如此》，布鲁克纳的《第八交响曲》，1987年维也纳新年音乐会等等。
“红卡”：卡拉扬60年代贝多芬交响曲全集封面。卡拉扬60年代的贝多芬交响曲全集可以说是一套非常有名的唱片。虽然并非人人都认为它，或者是其中的几部是该曲集的首选，但是它一直被给与很高的评价，例如网上书店Amazon将它评为“Amazon必备录音”，并说道：
“ 赫伯特·冯·卡拉扬为DG录制的第一套贝多芬交响曲全集（1963）是他本人四套里面之首，这已是共识。柏林爱乐处于最佳状态，他们在艺术上还未曾崇尚那种柔和光滑的处理手法，该手法可在指挥家后来的版本中听到。卡拉扬一尘不染，情感冷峻的贝多芬对听众逐渐发展的听觉鉴赏力总会有些影响，不过该全集是最有可能满足它们的。--David Hurwitz”
虽然卡拉扬对莫扎特，舒伯特交响曲的演绎并未获得听众的一致赞好[85]，不过他的布鲁克纳和理查·施特劳斯的录音却向来是有口皆碑的。例如在《美国录音指导》（American Record Guide）中评论员汤玛斯·古多尔写道：
“ 卡拉扬（的理查·施特劳斯）呈现的则是强韧性和戏剧性，在《英雄的生涯》中则有着强列的性欲表现。……没有人能够像卡拉扬那样有力地把握住战斗一景中的恐怖气氛，另外他在作品结尾处所呈现的壮丽豪华也是无人能及的。”
而卡拉扬所录制的布鲁克纳交响曲也深得好评，例如《企鹅唱片评鉴》评价其为DG公司所制作的全集唱片中说道此版被“奉为圭臬[87]。”而其最后一版第八交响曲则得到了如下评价：
“ 最令人难忘的一个版本，其音响之华美，织体之丰富多彩令人赞叹，但决不会转移你的注意力：因为演出的美感与真实性是挽手通行的。……听这张唱片这是一种艺术的享受。 ”
意大利歌剧
卡拉扬对意大利那种直率而又有生气的艺术特别感兴趣，特别是意大利歌剧中那种一往无阻的演唱风格，优美的旋律，使得卡拉扬终身不断地制作和录制威尔第和普契尼的歌剧名作。在一次和《纽约客》记者温托·萨吉安（Winthrop Sargeant）谈话中，卡拉扬提到了自己对意大利歌剧的看法：
“ 以托斯卡为例，这就好像来一顿卫生，简单但又少见的汉堡包快餐换换口味一样。非常有益。里面有着最基本的情感和暴力。你能在托斯卡那倾泻大堆的能量—这正是它与谋杀挂上钩的原因，不过它的魅力在于，你看完过后不用被送去吊死。 ”
纵观卡拉扬一生的指挥事业，意大利歌剧总是伴随着他。从开始时的乌尔姆，到后来的亚琛，伦敦，米兰，柏林，维也纳和萨尔斯堡，他都排演了威尔第，普契尼和唐尼采蒂的歌剧名作。虽然他只是排演了威尔第，普契尼有限的几部歌剧，但是他选择的作品无疑是两位作曲家最具代表性的力作，前者的《阿依达》，《奥赛罗》，《法斯塔夫》，《游吟诗人》，《茶花女》和《唐·卡洛斯》，还有最后的歌剧制作《假面舞会》，后者的《波希米亚人》，《蝴蝶夫人》，《图兰多特》和《托斯卡》。另外还有里昂卡瓦罗的《丑角》和马斯卡尼的《乡村骑士》。这些作品对人物性格的刻画深刻，情节充满张力。在音乐方面，卡拉扬喜欢加强轻弱对比以增加效果，例如《奥赛罗》最后一幕，苔丝德蒙娜的祈祷和后来奥赛罗与之的争执被卡拉扬先柔后刚地处理，而类似的还有他棒下的《丑角》“杀妻”一景。
俄罗斯与民族乐派
卡拉扬是西贝柳斯音乐的积极推广者，他曾指挥过西贝柳斯除了第三号以外的6首交响曲和音诗。其中的4号“演奏水平之高，让人无话可说”。有一次作曲者西贝留士在听过卡拉扬录制的第4，7交响曲和《塔皮奥拉》之后说到：
“ 只有卡拉扬懂我的音乐。我们的老朋友比彻姆，他指挥录制的效果就不太一样，听起来总觉得他是先学了我的音乐，然后站在第一小提琴前指挥。 ”
另外，卡拉扬也很喜欢录制民族乐派中挪威作曲家格里格和两位捷克作曲家德沃夏克以及斯美塔纳的作品。其中前者的《皮尔金组曲》被他录制过三次。德沃夏克的最后两首交响曲和斯拉夫舞曲和斯美塔纳的《伏尔塔瓦河 （音乐）》也是他喜欢演绎的炫技曲。而在俄罗斯音乐里面，卡拉扬花了很多心思在柴可夫斯基的音乐上面，将这位作曲家的全部交响曲（《曼弗雷德交响曲》除外），三大芭蕾舞组曲，《1812序曲》，《意大利随想曲》，《罗密欧与朱丽叶幻想序曲》还有《斯拉夫进行曲》都录制过一遍以上。强力集团里面穆索尔斯基和里姆斯基-科萨科夫的管弦乐作品也很得他的青睐。
经典作品
1945年 拉赫马尼诺夫第二钢琴协奏曲
1951年 瓦格纳纽伦堡名歌手
1962年 贝多芬交响曲全集
1963年 比才卡门（现场录音）
1967——1970年 瓦格纳：歌剧《尼贝龙根的指环》全剧
1973年 威尔第：歌剧《奥塞罗》
1981年 霍尔斯特行星组曲（DG 439 011-2）
1987年 维也纳新年音乐会（DG 419 616-2）
1989年 布鲁克纳：e小调第七交响乐（DG 439 037-2）
逸事趣闻
传言卡拉扬曾经骑自行车250公里，为的是去偷偷察看指挥大师托斯卡尼尼的排练。
卡拉扬早年曾打算到维也纳工业高校学习工科，但最后音乐成了他的终身职业。卡拉扬第二次世界大战前已崭露头角。后因其纳粹身份，在二战后饱受此困扰，很多犹太音乐家因此拒绝与他合作，并且他被禁止作国际演出。后因EMI制作人瓦尔特·李格的帮助，卡拉扬在伦敦指挥由前者组建的爱乐乐团，录下很多单声道录音。其歌剧录音尤为演录俱佳。1951年，首次登台拜鲁伊特。虽然日后他灌录了瓦格纳全套经典剧目，但1952年后他就再也没有返回拜鲁依特。
接掌柏林爱乐乐团是其辉煌录音生涯的开始。卡拉扬与柏林爱乐乐团的合作长达30年，期间灌录的录音，有声影像多达800余款，发行量过亿。同时，柏林爱乐乐团亦被带到艺术方面的高峰。卡拉扬第一次登台指挥的曲目是罗西尼的威廉·退尔序曲。他于1987年最后一次指挥维也纳新年音乐会。于1989年录下其最后录音——布鲁克纳第七交响曲。
80年代，他与柏林爱乐的矛盾因一位女单簧管手萨宾娜·迈娅冲突爆发，两者的合作减少。此次冲突非常，德国有关部门曾介入事件调停。卡拉扬认为，这是他本人有生以来最大的耻辱。
1989年7月16日，卡拉扬在萨尔斯堡排练威尔第的歌剧《假面舞会》时感到身体不适，不久后逝世。后来证实死因为心脏病发。其遗产多达5亿马克，拥有私人飞机、游艇和跑车。
卡拉扬一身追求完美，不论是技术还是艺术。技术方面，他经常参与录音和拍摄。艺术方面，他通常把惯演曲目录上数遍，并亲自参与导演。卡拉扬指挥过世界最顶尖的乐队，如维也纳爱乐乐团、米兰斯卡拉歌剧院乐团等。他的指挥艺术很能代表60至80年代的音乐表现取向。
卡拉扬关心后进，积极发现有天分的音乐家，并鼓励他们进一步学习。得到卡拉扬提携的音乐家有，指挥家小泽征尔，女小提琴家安娜·苏菲·穆特和钢琴家基辛。他建立卡拉扬指挥大赛。并筹组资金进行音乐方面的研究，涉及音乐与精神病治疗方面的关系等。
赞誉与批评
卡拉扬热爱体育，经常滑雪，飙车，开船和飞机，还练瑜伽，而且他的记忆力惊人，一贯背谱演出。终其一生，他都与技术结缘，从录音录影到机械，甚至手术都会引起他的兴趣，而且他承认自己的个人发展深受媒体技术发展的影响，并尽力在他的演出中使用最新的音频和视频技术。卡拉扬以其录音数量之多广，演绎之精彩在指挥界享有盛誉。西贝留斯曾致信华尔特·莱格说道卡拉扬是“一位大师”。受他细心栽培的穆特说道：“对于那些认识他（卡拉扬）的音乐家来说，他一直是未能超越的巅峰。他的音响有着超出时空的色质。他能够在一支乐队中打造出和谐统一，使之成为一件拥有广大音响和有着独特演绎方式的乐器。这样的传统一直延续着。他是一位完美的音乐家，还是一个出色的心理学家。当然我们每个人都追求着技术方面的完美，但是他的着眼点则首先是音乐的表达。”
而英语界权威的音乐辞典《格罗夫音乐与音乐家词典》则写道：“在他生命的最后30年，没有别的指挥家在音响和织体上比他作出过更大的影响。”
奥地利大戏剧顾问马修·帕威（Marcel Prawy）和作家克莱尼特（Annemarie Kleinert）都在他们的书中写道，卡拉扬是一个孤独有隔阂的艺术家。卡拉扬圈子里的人并不会叫他赫比（Herbie），而是敬称他作“头儿”（der Chef）。但与卡拉扬在照片上的严肃冷峻相较，小泽征尔认为他很平易近人，每每让小泽以你我相称。小泽并用“很热心的”来形容他。而在排练时，以及在新歌手听唱时他也会表现出其幽默的一面。
卡拉扬认真对待排练，即使是乐队已经熟习的曲目，他也要求再认真演练。而这种“完美主义者”作风也很受一些与他共事过的人士的赞扬，例如法国的剧院经理米雪·格罗兹（Michel Glotz），卡拉扬的左右手爱华德·马克尔（Ewald Markl）和卡拉扬的传记作者罗宾逊。例如格罗兹的描述则是对卡拉扬的幽默和完美主义的综合：
“ 他（卡拉扬）在一些方面专制得和卡拉斯别无二样，整个暴君相：卡拉扬是一个极端完美主义者，他就是受不了那种被他称为“吊儿郎当”（德语：Schlamperei）的作风，那简直可以让他发疯。不过除了要求每个人做出最出色的表现外，他倒是很喜欢看到乐队能轻松下来，音乐家和歌手笑起来的。而且他通常是第一个搞起笑的人。 ”
另外卡拉扬通过“卡拉扬基金”，“卡拉扬指挥比赛”的形式带携提拔了很多年轻音乐家，如苏菲——穆特，小泽征尔，钢琴家基辛，女高音贡杜拉·扬诺维兹等等。这些音乐家目前都成为了音乐界的重要人物。而且，卡拉扬也很喜欢教学，并自称能够在两分钟后得出结论，对方是否合适指挥这一职业。曾经师从过两位大师（另一位是伦纳德·伯恩斯坦）的小泽征尔回忆道，卡拉扬在听过小泽的演出后，经常一针见血地提出批评和建议，并总结道“伯恩斯坦指指这里说说那里。而卡拉扬则是位真正的老师。”
日本东京卡拉扬艺术广场对卡拉扬的批评，可以按其所针对的方面大致分为三种，第一种是针对其过去纳粹党员的身份，第二种的目标则是他的个人生活，还有第三种意见是对他指挥风格的不满意，属于艺术方面的范畴。其中第一种已在上文中提到，这里包括那些在1955年柏林爱乐访美时参加抗议的人士以及1967年反对提名卡拉扬到芝加哥交响乐团任职的犹太团体。这一类批评者的主要立足点是，卡拉扬的艺术观点与政治观点挂钩，不能分开来看。
第二类的意见则是来自当年卡拉扬维也纳任职期间与之有过冲突的人士以及后来80年代的柏林爱乐。这些人士一方面认为卡拉扬过于奢华，例如在由诺曼·莱布雷希特所著的《谁杀了古典音乐》一书中，“老大卡拉扬赚得最多”写有语气极其强烈的评论。其中表示，卡拉扬的身后财产多达5亿马克，又指出卡拉扬在其职业生涯中拜金至上，安插亲信，破坏古典音乐界风气。而柏林爱乐乐队里的音乐家对他则有不同的看法。其中一些人认为卡拉扬很会关怀体贴乐团成员，经常问及他们的爱好趣事。在一些乐友得了工伤病痛的时候，他则会为病者介绍好的医生以帮助他们治疗。但另一些成员则不喜欢他的脾气和在一些事务上表现出的专横，认为他以自我为中心。还有音乐家批评他在音乐诠释上的独断，例如斯特斯曼曾说过：“跟卡拉扬说音乐，就是可以，也是很难”。
第三类批评则比较复杂。首先是唱片评论家对卡拉扬演绎作品时做出的删减不满意，例如其60年代的贝多芬《田园交响曲》中的谐谑曲的重复部，70年代录音室版的《奥赛罗》部分细节被“遗憾地”删除了。另外则是针对卡拉扬对唱片所作的后期处理，例如他的天鹅之歌──最后一版布鲁克纳第七交响曲的最强音“有一点人工的痕迹”，还有《唱片里的瓦格纳》一书的作者周士红指出，卡拉扬80年代录制的瓦格纳精选唱片中“有几处强弱变化是被音量钮操纵出来的”。
而针对卡拉扬音乐处理的风格所提出的批评，则属于比较主观的范畴。例如斯特拉文斯基就曾经比较负面的评论过卡拉扬所录制的《春之祭》。有时就是柏林爱乐乐团的音乐家也未必认同他对贝多芬的解读[112]。例如哥伦比亚大学教授保罗·亨利·朗对卡拉扬录制的贝多芬交响曲所提出的批评是非常典型的：
“ 在（他的）英雄交响曲里，听者不能不问，为什么这位优秀的音乐家会如此频繁地忽略贝多芬最有特色而又最强有力的武器──加强（sforzando）的呢？在那些响亮的段落里面，这些标记根本就和普通的强（forte）没什么区别。而慢的感觉（田园交响曲中的第二乐章）是由于平淡无奇的响奏而产生的，乐句波澜不惊。第七交响曲的慢板乐章演奏得不错，不过全凭滑奏（portamento）的表现，而且好像贝多芬的点比音符更重要似的。 ”
另外《高保真》杂志的大卫·汉密尔顿则认为卡拉扬在《费德里奥》的录音中压低重音，忽略总谱上强拍的提示。还有威廉·曼则更加认为，卡拉扬缩短休止以求音乐的平滑过渡。不过，对这些音乐理念方面的差异是没有谁是谁非的。卡拉扬在对待总谱上的确有自己的一套，例如当他与乐队排练贝多芬第九交响曲时，对于朗所说道的“点与音符”问题，发生过以下对话：
“卡拉扬：错了，错了！准时上，准时上！我要一直奏下去直到柔板（pianissimo）。你们总是在之前来一个大休止，这是对原谱的误解。
乐队：嗯，但是那些点怎么办？
卡拉扬：它们在那里是为了让音符听起来更佳！它们并不决定音符的强度。那是一种错误的见解。让那些在学校如此讲授的老师成为误人子弟者吧！准时上！ ”
