Соседи угрожают судом из-за установленного забора, несмотря на предварительные устные договоренности. Что делать?

Здравствуйте. Хочу поставить забор. По земельному плану у нас границы с соседями достаточно ужасны. А именно, граница соседа проходит прямо в 25 сантиметрах от моего дома, а за домом у меня сад, в который как-то нужно проходить, но прощемиться в 25 сантиметров взрослому человеку просто физически нереально. Суть в чем. В устной форме между собой мы договорились с соседями, что бы они на полметра отступили своего участка для постройки забора, в то время как важным условием было, что бы и МЫ отступили немного своего участка в пользу компенсации. Мы отступаем свою землю в другой точке, берем их кусочек и начинаем стройку. Сейчас они мне угрожают расплатой через суд, что я залез на их территорию и утверждают, что никакого договора между нами не было, хотя на тот момент были свидетели. Как мне поступить и какие наказания меня могут ждать, если я не побурю свой забор и оставлю так как есть.

з.ы. Насколько же я устал от жадных и мелочных людей, сил нету больше.