多分解決

スクロールでエラーになる現象で出口のない闇をさまよってた感じなんですが
みっけた感じです。

DataGridView1.Rows(e.RowIndex).GetPreferredHeight(e.RowIndex, DataGridViewAutoSizeRowMode.AllCellsExceptHeader, false)

DataGridView1.Rows(e.RowIndex).GetPreferredHeight(e.RowIndex, DataGridViewAutoSizeRowMode.AllCellsExceptHeader, True)

trueとfalseの違いはでかかった