大阪府大阪市の生まれ。浪速高校入学後にボクシング部で頭角を現し、インターハイ優勝など実績を重ねる。近畿大学進学後は1980年のモスクワ五輪の有力候補となるが、日本が同五輪への出場をボイコットしたことにより、プロボクサーへ転向。12連続KO勝利の日本記録を樹立して、“浪速のロッキー”の愛称で親しまれた。しかし、二度目の世界タイトル挑戦前に喫したKO負けで生死の境をさまよい、奇跡的に回復したのちの85年に現役を引退する。その後は、88年の「またまたあぶない刑事」にゲスト出演したのち、阪本順治監督のデビュー作「どついたるねん」89に主演。試合中の大怪我で引退を余儀なくされたプロボクサー・安達英志が再起を目指すという、赤井の実人生に重なるキャラクターとストーリーにより、鮮烈な俳優デビューを飾った。迫真のボクシングシーンなども効果を上げて、同作はキネマ旬報ベスト・テン第２位など高評価を獲得。赤井自身も多数の新人男優賞を受賞する。以後は本格的に俳優に転身し、再び阪本と組んだ「王手」91の主演や、NHK大河ドラマ『太平記』で楠木正成の弟・正季役を演じるなど、順調にキャリアを重ねていく。平和な田舎町の消防隊員の日常を描いた竹中直人監督「119」94では、熱血漢だが純情な消防士・石井信幸役を好演。是枝裕和監督のデビュー作「幻の光」95、「どついたるねん」の荒戸源次郎プロデューサーが監督した「赤目四十八瀧心中未遂」03、阪神大震災の被災後に一念発起してプロテストに合格したゴルファーの実話を基にした万田邦敏監督「ありがとう」06などに出演し、大阪弁丸出しの奔放さと明るいキャラクターが愛され、テレビのバラエティ番組などでも活躍する。テレビドラマはほかに、TBS『高校教師』93、『人間・失格／たとえばぼくが死んだら』94、『セカンド・チャンス』95、『その気になるまで』96、『略奪愛・アブない女』98、日本テレビ『奇跡のロマンス』96、NHK『まんてん』02、『てっぱん』10など。主演・助演を問わない個性派俳優としての地位を確立している。