Как известно, передача всех чисел проходит младшими битами вперед, и у Вас проблемы возникают на самом последнем бите байта, если он отличен от нуля.
А если в других байтах ответа (например, в мантиссе) есть байты больше 0х80, они нормально проходят?
Проверьте настройки всей связки, одинаковую скорость, одинаковость числа стоп-бит (один!). Попробуйте заменить модем.
Проверьте свое ПО, вовремя ли оно читает последние два байта ответа.