De Post Office Bay kreeg zijn naam toen het werd gebruikt door Engelse walvisvaarders als postknooppunt. Hier werd een postkantoor opgericht in de vorm van een vat, dat nog steeds door toeristen wordt gebruikt. U laat een brief of een kaart achter en in ruil daarvoor neemt u een andere kaart mee om deze thuis te bezorgen.