Заказчик пытается заставить выплатить неустойку за просрочку выполнения отделочных работ при отсутствии договора. Что делать?

Здравствуйте,суть проблемы такова. В виду определённой ситуации я подрядился на отделку дома (4500р/кв.м (под ключ) ;585т.р. общая цена работ). договор был только на словах,сроки сдачи были приблизительные,а о неустойке и речи не было. цена изначально была не рентабельна. и в виду этого большинство работ выполнял самостоятельно. что весьма затянуло время (4 месяца),также были  произведены доп. работы, не входящие в "Словесный договор" (180 т.р до сих пор не оплачены), которые тоже заняли время (около 4 месяца),на протяжении всего времени несколько раз работа практически останавливалась по вине заказчика (отсутствие денежных средств, отсутствие электро энергии,) примерно 4 месяца. Теперь под окончание работ заказчик сообщает мне, что я ему должен 360т.р в виду неустойки (якобы он снимал квартиру за 30т.р 12 месяцев по моей вине),до этого я не однократно подымал вопрос о просрочке, на что слышал ответ "Да всё нормально, прорвёмся ",а теперь такой поворот событий мало того, что и деньги не все отдал так и еще и неустойку. как поступить в этой ситуации?