エンコーディングを指定してインポートする場合、インポート時点でヘッダをパースするので、変なヘッダが混じっているとインポート途中でエラーになってしまいます。エンコーディングを指定しないときにはヘッダが変でもインポート自体はできるので微妙にバランスが悪いです。
というわけで、ヘッダをパースしてエラーになったときには、非構造化ヘッダとして処理してしまうようにしました。