神奈川県横浜市で生まれ、茅ヶ崎市で育つ。本名・池端直亮。父は戦前から松竹で活躍した俳優の上原謙、母は女優の小桜葉子。1960年、慶応義塾大学経済学部を卒業と同時に、東宝に入社。芸能界のサラブレッドとして華々しく喧伝され、同年８月封切りの谷口千吉監督のアクション映画「男対男」で映画デビューする。三船敏郎、池部良という大先輩に囲まれてのこの第１作を大過なく済ませたあと、２作目の岡本喜八監督「独立愚連隊西へ」で早くも主役を与えられる。翌61年には年間８本に出演。のちにシリーズ化される「若大将」の第１作「大学の若大将」もこの中に入っている。同年、製作者協会新人賞を受賞。「若大将」シリーズは当時の流行のスポーツや風俗を取り入れ、加山自身による主題歌・挿入歌も大ヒットして、一躍彼をスターダムに押し上げる。シリーズは以後、復活篇の「帰ってきた若大将」81を含めると計17作が作られ、加山の日劇公演とシリーズの名場面を編集した番外篇「歌う若大将」66も公開されるほどの人気を呼んだ。戦後の日本映画史を代表する青春映画のヒットシリーズとなり、加山の生涯のパブリックイメージを決定づけるものともなる。続けて62年も、黒澤明監督「椿三十郎」を含む８本の映画に出演。「椿三十郎」は加山にとって初めての時代劇だったが、黒澤演出の重圧を持ち前の明朗さで凌ぎ、青侍らしい若々しい演技が高く評価される。この好演によって、「赤ひげ」65を最高峰とする「戦国野郎」63、「大菩薩峠」66などの時代劇出演への道が拓かれた。64年、成瀬巳喜男監督の「乱れる」に出演。未亡人となった兄嫁・高峰秀子をひそかに恋する弟という役柄で、禁断の想いを胸に抱いた青年のやるせなさを巧まずに表現した。翌65年は黒澤監督の再度の要請に応えて「赤ひげ」に出演する。“赤ひげ”の異名を持つ町医者に接することによって次第に人間として成長していくエリート青年医師・保本登役を、人気俳優として岐路に立った自身の立場に重ね合わせ全力投球した。「乱れる」「赤ひげ」の二作によって一流の俳優に仲間入りしたが、その一方で、同年12月、「エレキの若大将」の挿入歌『君といつまでも』のレコードが300万枚を売り上げる記録的なヒットとなり、曲の中でつぶやく「僕は幸せだなあ」という台詞が流行語となる。作曲者の“弾厚作”は加山のペンネーム。以前より『夜の太陽』『日本一の若大将』『恋は紅いバラ』などのレコードは出していたが、『君といつまでも』が記録的な数字になったのは、折りからのマイホーム主義の浸透と、エレキ・ブームという風俗的背景があったからだが、良くも悪くもこの曲の大ヒットが加山の俳優としての進路をも規制することになった。それまでは年１本のペースだった「若大将」シリーズが、66年に２本、67年に３本になり、その他の出演作品も「若大将」のイメージをなぞったものが多くなる。この時期では、「乱れる」に続いて出演した名匠・成瀬監督の遺作となった「乱れ雲」67が特筆すべき一作。不可抗力の交通事故で加害者となった平凡なサラリーマンと被害者の妻・司葉子の、謝罪と拒否をめぐる心の葛藤が次第に恋愛へと進んでいく悲恋物語だが、男女の複雑な心理の綾を追う成瀬演出に応える加山の演技も秀逸で、まぎれもなく代表作に数えられるものとした。さらに、堀川弘通監督の「狙撃」68においてニヒルな殺し屋を演じて新境地を拓き、この好演によって森谷司郎監督「弾痕」69、西村潔監督「豹（ジャガー）は走った」70、「薔薇の標的」72と続くハードボイルド活劇路線がスタート、時代状況を反映した孤独なヒーローをクールに演じた。また、森谷監督と組んだ「兄貴の恋人」68、「二人の恋人」69は、若大将とはひと味違う東宝青春映画の佳作として記憶される。こうして俳優・歌手業は順風満帆だったが、私生活ではアクシデント続きだった。70年５月、母の小桜葉子が子宮頚癌のため52歳の若さで急逝。８月には経営参加していた茅ヶ崎市のホテル“パシフィックパーク茅ヶ崎”が倒産し、多額の負債を負う。さらに73年１月には飲酒運転で自動車事故を起こし、助手席に乗せていたタレント・藤岡麻理に怪我をさせた。翌74年１月には北海道のスキー場で圧雪車の下敷きとなり、左肩骨折で全治２カ月の重傷を負うという不運が重なる。加えて映画産業の不振も加わり、72年の出演作は「薔薇の標的」１本という淋しさ。ひと頃は「自分だけどうしてこんなに試練が与えられるのか」と天を恨んだこともあったというが、「死なない限り不運に負けない自信はあった。僕は心理的に良いことだけ暗示にかけるタイプ」と自分に言い聞かせて、持ち前のバイタリティで活路をテレビに見出し、この頃からテレビドラマの出演が続くようになる。72年３月のNHK『花包丁』を皮切りに、日本テレビ『花よりだんご』72、『雪舞』74、『ありがとうパパ』76、『大追跡』78、『かたぐるま』79～82、テレビ朝日『華麗なる一族』74、フジテレビ『青い山脈』74、『江戸の旋風』75、『時よ、燃えて！』79、テレビ東京『高校教師』74、TBS『なつかしき海の歌』75、『ぼくの妹に』76など70年代の活動は完全にテレビに移行する。81年、著書『この愛いつまでも』が35万部のベストセラーを記録。この年は芸能生活20周年を記念してのメモリアル作「帰ってきた若大将」で久々に主演もつとめ、さらに84年には、舛田利雄監督の戦争映画「零戦燃ゆ」で戦闘機乗りを演じて風格を示した。86年から３年間、NHK『加山雄三ショー』のホストをつとめ、以後はコンサートツアーなどの音楽活動と、日本テレビの情報バラエティ番組『知ってるつもり?!』89～02のコメンテーターなど、引き続きテレビが活動の中心となる。テレビドラマ出演も多く、NHK大河ドラマ『翔ぶが如く』90で薩摩藩主・島津斉彬を演じたほか、フジテレビ『時よ炎のごとく！』80、『探偵同盟』81、テレビ朝日『加山雄三のブラック・ジャック』81、『サラリーマン忠臣蔵』89、TBS『女７人あつまれば』82、『総合商社』90、『兄貴に乾杯』91・92、NHK『赤ちゃんが来た』94などがある。92年のTBS『社長になった若大将』92では、往年の「若大将」シリーズの後を受けるかたちでその後の姿を演じ、ファンを喜ばせた。95年、武田鉄矢監督・主演の「プロゴルファー織部金次郎３・飛べバーディー」に、ワンシーンのゲストで久々の映画出演。96年にはジャッキー・チェン主演の香港映画「デッドヒート」にも特別出演した。近年は、テレビドラマもTBSの長寿時代劇『水戸黄門』にたびたびゲスト出演する程度で、もっぱらバラエティ番組やワイドショーのコメンテーターなどテレビタレントとしての活動がメインとなる。音楽活動は地道に続けており、同じ茅ヶ崎市出身のミュージシャン・桑田佳祐の呼びかけに応じて音楽イベントに参加するなど、加山をリスぺクトする音楽人との交流も盛んである。2009年には、TBSのドラマ『こちら葛飾区亀有公園前派出所』にゲスト出演。10年、芸能生活50周年を迎え、茅ヶ崎市民栄誉賞を贈られた。11年、芸術選奨文部科学大臣賞大衆芸能部門受賞。私生活では、70年９月に「エレキの若大将」で共演した女優の松本めぐみと結婚、二男二女があり、長男・信宏は作曲家を経て会社経営、次男・徹夫は“山下徹大”の芸名で日本テレビ『終わらない夏』95で俳優デビューした。長女はタレントで料理研究家の梓真悠子、次女は女優の池端えみ。