多分解決
スクロールでエラーになる現象で出口のない闇をさまよってた感じなんですが
みっけた感じです。
DataGridView1.Rows(e.RowIndex).GetPreferredHeight(e.RowIndex, DataGridViewAutoSizeRowMode.AllCellsExceptHeader, false)
↓
DataGridView1.Rows(e.RowIndex).GetPreferredHeight(e.RowIndex, DataGridViewAutoSizeRowMode.AllCellsExceptHeader, True)
trueとfalseの違いはでかかった