请教懂法律 关于调解委员会

公公和邻居长期不和 (两位都是己退休人员)

对方习惯用大桑门对我公公说：我要告你

且连些鸡毛蒜皮的小事，也要去申诉调解

之前的调解，是由先生请假陪同

最近对方又去申诉调解了

但是事件跟我们家没啥关係 (对方习惯动不动就)

不过我们还是必需去调解

想请问懂法律或有经验的人

调解委员会我们会去参加

但是对于对方动不动就去申诉

先生还要请假陪同公公 (请假会扣钱)

我们可以不参加吗?

或是有啥方法请求对方赔偿 (吓吓对方)

我们并不是爱吵架的人，但对方连不是我们的问题，也要申诉

造成我们很大的困优 (而且频率蛮高)