天皇家以外にはご先祖様っていないのか？

平安時代・奈良時代・飛鳥時代とかまでさかのぼってご先祖様がいるのは天皇一族だけで、
それ以外の有象無象はどこかの時代に木の股から産まれてきたとでも言うのだろうか？