AnsibleでVagrantのprovisioningする際のgitの認証を通すには
ここに書いてあるやり方でいけました。
AnsibleからVagrantにssh経由でgit cloneする時の注意点 - Qiita
が、あまり関係ないと思っていた
sudo: no
が結構重要だったりしました。
gitを実行するTaskをsudoで実行してしまうと、userが変わってしまうのでssh forward agentが効かなくなってしまうっぽいので、gitなどのtaskはsudoをnoにしておく必要があります。