家プロジェクトとアンドウミュージアムだけと決めて回るなら4時間でも大丈夫だと思う
自分の場合はその辺りの他のパビリオン見たり直島ホールで昼寝してカフェやショップを散策してたら帰りのフェリーの時間になってて地中美術館のエリアには行く時間がなかっただけだから

何にしても3日もあれば目的のものは十分に見る事が出来るよ