1905年(明治38年)12月2日に在イギリス公使館が昇格して大使館となったのが最初です。ちなみに、初代駐英大使に任命されたのは林董(はやし・ただす)です。
1890年代、日本政府内部では、各国に置いている公使館を大使館に昇格すべきだとの意見がしばしば示されました。このような意見は、日本の要望を列国が受け入れるかが不透明であり先送りされましたが、北清事変(1900年)、日露戦争(1904~1905年)を経て、日本の実力が徐々に各国に認められるようになり、日露講和会議の直後には、イギリスとアメリカの両国より、日本と大使交換をおこなう準備があるとの意向が伝えられました。日本政府はこの提案に応じて、まずイギリスとの間で大使交換が実現し、在英公使館が「大使館」に昇格しました。林董が駐英大使となった直後の1906年(明治39年)1月には、アメリカ、ドイツ、フランスでも公使館が大使館に昇格し、青木周蔵(アメリカ)、井上勝之助(ドイツ)、栗野慎一郎(フランス)がそれぞれ大使に任ぜられています。こうした大使館設置にいたる経緯については、外務省記録「欧米大国ト特命全権大使交換一件」に関連史料が残されています。また、外務省編『外務省の百年』にも、大使館設置について詳しく記されています。