日本円は銀行でなくて両替所に行って換金して預けるか、外貨預金口座ですかね。
TSBが受付してくれるかもしれません。

→残念ながら日本円は扱ってないそうです。

https://www.tsb.co.nz/foreign-exchange

Limited foreign cash services
We are currently providing limited foreign cash services and will only offer AUD, USD, GBP & EUR until further notice.

ASBに口座をお持ちであれば、Travelexの支店か空港で有利なレートで外貨をドルに換えてもらえるようです。
https://www.asb.co.nz/foreign-exchange/foreign-notes.html
どの程度「有利」なのかはわかりませんが。

多分、ほとんどの銀行で両替はやっていないので、Nekoさんがおっしゃっていた通り、両替所にいって換金して口座に入金になると思います。

ちなみに私は反対にNZ＄から日本円に変えたくて銀行に問い合わせしましたが、問い合わせした銀行すべてから、やっていないと断られました。