日本在加拿大第一个公使是亲王德川家正，从1929年到1934年。加拿大在日本第一个公使是赫伯特·迪斯·马勒（英语：Herbert Meredith Marler），从1929年到1936年。

两国的外交关系在1941年太平洋战争开始之后便中断。在战争期间，加拿大在通过战时措施法（英语：War Measures Act）后开始为了“国家安全”的目的而囚禁日裔加拿大人。日裔加拿大人被剥夺了众多权利，包括工作与私有财产的权利。

两国间的直接战役发生在太平洋战争中，日本和加拿大军队在珍珠港事件的8小时后在香港保卫战中正式交战。该战役最终导致香港被日本占领。

广岛与长崎yuanzidan爆炸之后，1946年加拿大代表在日本向盟军无条件投降后返回东京。1951年日本也在渥太华开设外交事务处，准备未来恢复外交关系。日加关系的正式全面恢复是在旧金山和约签订后的1952年。

加拿大驻日公使馆升级为大使馆，罗伯特·梅休（英语：Robert Mayhew）也出任第二次世界大战后第一任加拿大驻日大使。日本也在渥太华开设大使馆，井口贞夫成为第一任日本驻加拿大大使。

加拿大以各种方式协助日本返回国际社会。由于加拿大的倡议，日本获接纳为科伦坡计划的会员国，并参与1954年在渥太华召开的会议，同年间两国也签署了关于商业的双边协议。加拿大支持日本加入关税及贸易总协定（GATT），当日本加入GATT时，加拿大是少数给予其最惠国地位的国家之一。