フェンブレンを倒す時に抜けた時点でね
あそこでダイと剣の意志が一つになってあれ以降ダイの意志で抜けるようになったんじゃないかと思ってる