Même avec une clé ssh installée, macOS continuer de demander la confirmation du passphrase utilisé lors de la création de la clé.
Très facile à fixer :

$ nano ~/.ssh/config

Et on ajoute à la fin :

Host *
    UseKeychain yes