『外務省の百年』(外務省百年史編纂委員会編、原書房、1969年)によると、明治初期、外務卿は各自の自宅で執務を行っていました。しかし、庁舎と距離があるのは不便であり、且つ、外国の公使等との交際上不都合があるとの理由で、1875年(明治8年)、寺島宗則(てらしま・むねのり)外務卿が外務省構内に官舎を建築することを上申し、翌1876年(明治9年)、外務省構内に外務卿官舎(外務大臣官邸)が建築されました。
この外務大臣官邸が外国との交際の場として使用された記録としては、1922年(大正11年)4月にエドワード英国皇太子(後の国王エドワード8世)が来日した際の晩餐会の記録があります。外務省記録「外国貴賓ノ来朝関係雑件 英国之部 英国皇儲来朝ノ件」によると、内田康哉(うちだ・やすや)外務大臣は、同皇太子に寛いでもらおうと、晩餐会で帝劇女優による「娘道成寺」の上演を企画しました。同皇太子は非常に喜んで、女優、鳴物師に至る迄、握手を賜ったとの記録が残っています。
しかし、1923年(大正12年)の関東大震災により、初代大臣官邸は大きな被害を受けました。当時、外務省文書課により編纂・刊行された『外務省報』第47号によると、伊集院彦吉(いじゅういん・ひこきち)外務大臣は、震災直後、大破した大臣官邸の代わりに電信課長官舎を官邸として使用し、外交団の接見には同官舎の客間を充てていたようです。また、次官官舎の修理完了後には、そちらを一時的に大臣官舎とする予定であることも記されています。翌1924年(大正13年)発行の同誌第72号には、幣原喜重郎(しではら・きじゅうろう)外務大臣が同年10月31日に「裏霞ヶ関官邸」で天長節奉祝の晩餐会を開催したとの記事があり、震災の翌年には麹町区裏霞ヶ関(現在の千代田区霞ヶ関三丁目から永田町一丁目付近)に大臣官邸が置かれていたことがわかります。
その後、1932年(昭和7年)に大臣官邸は裏霞ヶ関から麹町区三年町(現在の千代田区永田町一丁目。内閣府付近)に移転します。外務省記録「本省庁舎及官舎関係雑件」には、裏霞ヶ関にあった外務大臣官邸を外務次官官舎とし、麹町区三年町にあった外務次官官舎を外務大臣官邸とする旨、在京の外国公館に通知した記録が残っています。『外務省の百年』によれば、麹町区三年町の建物は旧有栖川宮邸で、高松宮から譲り受けたようです。しかし、この官邸は1945年(昭和20年)5月の空襲により焼失しました。また、関東大震災時に被災した初代大臣官邸も、その後修理・増築され、外務省庁舎として使用されていましたが、この時、同時に焼失しました。