前身は、昭和25年に朝日学術奨励金によって建てられた乗鞍岳の朝日小屋です。これが昭和28年に東京大学宇宙線観測所となりました。この観測所は我が国初の全国共同利用研究機関でした。

昭和32年には IGY（国際地球観測年）の世界規模の観測に参加し、早くも国際的活動が始まりました。この年に空気シャワーの観測を始め、

昭和33年にはエマルションチェンバーによる観測を始めました。その後しばらくの間、これらの観測装置による地道な観測が続けられました。

昭和47年になると、新たにミュートロン（電磁石スペクトロメータ）の建設が始まり、実験設備が整って行きました。昭和48年には、学術振興会の事業であった２つの国際研究が研究所の事業として吸収されました。一つはインド・コラー金鉱の深地下実験で、もう一つはボリビヤ・チャカルタヤ山の高山実験です。 昭和50年にはミュートロンが完成し、続いて明野観測所の建設も始まりました。

昭和51年に、東京大学宇宙線観測所は東京大学宇宙線研究所となりました。ここには、昭和31年から同じような研究をしていた東京大学原子核研究所宇宙線部の3部門が吸収され、全部で 6部門1施設の研究所として再出発しました。昭和52年には明野観測所が正式に第二の附属施設となり、昭和54年には明野の1平方km空気シャワー装置と富士山のエマルション・チェンバーができ、昭和56年にはエマルション・チェンバーによる日中共同研究が始まりました。昭和58年には共同実験として神岡の陽子崩壊実験が始まり、一次宇宙線研究設備もできました。

昭和60年代になると大きな実験結果が出始め、実験設備の拡充もさらに行われるようになりました。昭和62年には神岡で、世界で初めて超新星からのニュートリノをとらえました。同じ年に明野では、100平方km広域シャワー観測装置の建設がはじまりました。昭和63年には神岡で太陽ニュートリノ欠損を観測し、平成元年には乗鞍で太陽フレアーに伴う宇宙中性子線の大幅な増大を観測しました。平成 2年に明野の広域シャワー観測装置が完成し、平成3年にスーパーカミオカンデの建設が始まりました。平成4年には共同実験のオーストラリアで、南半球では世界で初めて超高エネルギーガンマ線を観測しました。同じ年に、研究所に新たに重力波の観測グループが加わりました。平成 5年には、チベットでエアシャワーガンマ線実験装置の建設が始まりました。平成 6年には明野で、理論上あり得ないと思われていた最高エネルギーの大シャワーを観測し、神岡では、大気ニュートリノの異常を観測しました。平成 7年には神岡が第三の附属施設として新たに出発し、神岡宇宙素粒子研究施設となりました。平成 8年にはスーパーカミオカンデが完成して本格観測が始まり、平成10年には2年間の観測結果として、ニュートリノに質量があると発表しました。

平成11年度から、ニュートリノの質量をさらに詳しく調べるために、高エネルギー加速器研究機構からスーパーカミオカンデに向けて人工ニュートリノを発射して調べる実験も始まりました。宇宙ニュートリノの観測情報を融合して新たなニュートリノ研究の道を開くための、宇宙ニュートリノ観測情報融合センターも出発しました。さらに、オーストラリアの超高エネルギーガンマ線観測を大幅に充実させるための科学研究費COE拠点研究も認められました。

平成15年度から、最高エネルギーの宇宙線の起源を詳しく調べるために、米国ユタ州でのTA実験が認められました。本格的な建設は平成17年度と平成18年度に行われ、平成19年度から観測が始まりました。

平成16年4月1日には、東京大学の法人化を機に研究部を改変し、3研究部門からなる研究体制となりました。

平成22年4月1日には、新たに共同利用・共同研究拠点とし認定され、共同利用研究を更に推進していくことになりました。

平成22年7月には、宇宙線研究所の将来計画の柱として研究開始が待たれていた大型低温重力波望遠鏡（後に「かぐら」と命名）が文部科学省の最先端研究基盤事業の１つに選定され、建設がはじまりました。これを受けて、平成23年4月には重力波推進室を設置して建設を推進することになりました。

平成22年には、東海村のJ-APRCとスーパーカミオカンデ間のニュートリノ振動実験T2Kがはじまり、平成23年6月にはミューニュートリノが電子ニュートリノに振動する新たな振動モードが存在する兆候を、そして平成26年までには確かな証拠を得ました。　

平成24年3月には、オーストラリアの超高エネルギーガンマ線観測実験「カンガルー」を終了しました。そして超高エネルギーガンマ線観測においては、平成27年にCTA(Cherenkov Telescope Array)プロジェクトの大口径チェレンコフ望遠鏡の１号機の設置をスペイン領カナリア諸島ラパルマで開始することになりました。