精霊の剣が弱体化されたってのもあるけど、障壁の仕様として
杖のダメージ値に比例して障壁最大値が増える
魔導騎士のパッシブは与えたダメージに比例して障壁が増加する
ってのがあるので、強い武器がない序盤は障壁強度は低い

加えて、障壁は防御力0なので物理に弱く魔法に強いので
近接回避、遠隔回避を上げると破壊されにくくなる

序盤は有効打になる魔法を選んで
アビリティの障壁やマインドブラスト、フェイドステップなんかも駆使しつつ戦うといい