京都府京都市の生まれ。父は戦前から活躍した映画スターの阪東妻三郎。四人兄弟の長男で、三男・正和、四男・亮もともに俳優となる。1952年、同志社大学経済学部を卒業し、東京の商事会社に入社してサラリーマンになるが、53年７月７日に父が急逝。近親者や映画関係者から俳優になるよう勧められ、同年、父が最後に在籍していた松竹に俳優として入社する。デビュー作「女の園」54をはじめ、木下惠介監督の映画へ３作立て続けに出演。当時、人気だった松竹の二枚目スター、佐田啓二、高橋貞二らとは違って地味なタイプだったため、やはり木下監督の「野菊の如き君なりき」55など、しばらくは脇役として堅実な持ち味を発揮する。もっとも、当初から松竹は“阪妻二世”として高廣を時代劇スターに育てようとしていたが、本人がこれを頑なに固辞。56年の大曽根辰保監督「京洛五人男」から時代劇にも出演するようになるが、ヒット作は生まれず、むしろ、堀内真直監督「空ゆかば」57、川頭義郎監督「体の中を風が吹く」57、野村芳太郎監督「張込み」58といった現代劇での好演が、より印象的だった。晩年の本人の弁によれば、周囲の期待とは裏腹に「時代劇俳優一本でやるつもりはなく、かなり苦しんだ」という。以後も木下監督「笛吹川」60をはじめ、野村監督「背徳のメス」61、松山善三監督「山河あり」62などに主演するが、次第に脇役が多くなり、63年に松竹を退社する。フリーとなってからは、増村保造監督「兵隊やくざ」65の、勝新太郎演じる主人公・大宮と友情で結ばれるインテリの有田上等兵役が好評。軍隊の理不尽さに反骨精神を向ける大宮と有田は名コンビとして注目を浴び、シリーズ化された。この第１作の演技でブルーリボン賞の助演男優賞に輝き、「俳優としてやっと自由になれた」とのちに本人は語っている。その後は主演作こそ多くないが、大作からインディーズ作品まで数々の映画に出演。中でも、松竹時代からの恩師・木下監督の「父よ母よ！」で好演を見せた80年は、ほかにも佐藤純彌監督「遙かなる走路」、森谷司郎監督「動乱」、熊井啓監督「天平の甍」と計４本に出演し、日本アカデミー賞助演男優賞を受賞している。翌81年には小栗康平監督「泥の河」で安食堂を営む男・晋平を哀愁を漂わせて見事に表現し、毎日映画コンクール男優演技賞に輝く。87年の後藤俊夫監督「イタズ／熊」では頑固な老マタギに扮し、芸術選奨文部大臣賞を受賞。テレビドラマの出演も多く、NHK『赤穂浪士』64、『太閤記』65、『春の坂道』71、『花神』77、『御宿かわせみ』80～83、『宮本武蔵』84、フジテレビ『大奥』68、『雲霧仁左衛門』79、NET（現・テレビ朝日）『大忠臣蔵』71、TBS『助け人走る』73、『影同心』75、『南町奉行事件帖・怒れ！求馬』97～01、日本テレビ『勝海舟』90などの時代劇を中心にしつつも、NET『氷点』68、NHK『藍より青く』72、『和っこの金メダル』89、TBS『赤い衝撃』76、フジテレビ『霧の旗』91、『美味（おい）しんぼ』94～99などの現代劇にも多数助演。晩年もNHK『麻婆豆腐の女房』03、『ファイト！』05、TBS『ホームドラマ！』04などで、老いてなお枯れぬ存在感を発揮し続けた。91年紫綬褒章、99年勲四等旭日小授章。2006年５月16日に脳梗塞のため急逝、77歳だった。