Вроде исправил эти случайные баги (по крайней мере за большое количество тестовых игр не один не случился).
Проблему решил следующим образом:
1) Перед всеми подозрительными участками кода (где это не критично) поставил socket.setBlocking(true); (раньше было фолс).
2) После всех подозрительных участков кода поставил socket.setBlocking(false); т.к. для остальных участков иначе создавались проблемы иногда.
Там действительно терялась иногда часть данных именно при получении их клиентом (на сервере все нормально было).