和相亲的男生吵架了，大家帮忙出个主意吧

和相亲男生聊天，他谈到和单位准备离职的两个妹子一起吃了离职饭，我问到“为啥就你和两妹子吃饭，部门别的人不参加”，觉得和异性单独吃饭这种行为不合适。他说“因为他们仨工作交接多，又是同龄人”，而且他认为这是正常的社交距离。
但我认为异性同事之间也应该避嫌，避免单独和异性吃饭，而且在我工作的单位异性单独吃饭确实会被别人在后面议论，还有就是在他们部门就他和异性关系比较好这点让人很疑惑，求问大家怎么看。