テキスト選択時に Contextual Action Bar が表示されますが、Toolbar と二重に表示されてしまいました。

テーマに以下を追加すれば Contextual Action Bar が表示されている時は Toolbar が表示されないようになります。

<item name="windowActionModeOverlay">true</item>

参考

android - Overlay or hide Toolbar on copy/cut selection - Stack Overflow