弟の結婚式です。
はじめは結婚式をする予定はなかったのですが、お嫁さんのお家の都合で結婚式をすることになりました。
あちらの親戚が40人、こちらが3人の参列で、あちらのお父様はうちの 母に身体だけ来てくれれば良いよ........と、おっしゃっていたと聞いております。
うちでは、家族に御祝儀を包む習慣がなかったこともあり、弟本人に後々御祝を渡すつもりでおりました。
本来は事前に渡さなくてはいけないと思います。
結婚式のあと、あちらのお父様から、御祝儀がないと母に電話がありました。
結婚式の費用はあちらのお父様が出したと聞いております。
お互いの家族の習慣を確認しなかった落ち度はありますが、どうなのでしょうか？
また、席に用意された引出物はお断りすることは、出来たのでしょうか？
ちなみにですが、私が結婚した時には両家で食事会だけでしたので、弟から御祝等はいっさい貰っていませんし、弟は自分の趣味の用事があるからと、食事会には参加しませんでした。
旦那の弟は御祝をくれました。
私は現在は既に離婚して、実家に住んでおります。

冠婚葬祭のマナーは各家庭で差があります。
とはいえ、「食事会」ではなく、「結婚式」で既婚の兄弟からご祝儀がないのは流石に一般常識からは外れると思います。
事情があり、前以て渡せなくとも当日には持参するのが最低限のマナーかなっと。

特に今回は彼方のお父さんが招いた形ですのでご祝儀はお父さんへお渡しするものです。

質問者さまが結婚の際には、弟さんは未婚だったのでしょう。
「今の質問者さま」と「当時の弟さん」の立場を比べるのは、違うと思いますよ。
マナー的にも学生や未婚の実家住まいの兄弟は親がご祝儀をして済ませる…のは問題ないです。
特に食事会であり、出席もしていないのなら尚更、なくても仕方がないと思います。

引き出物を断るなんて無作法はなさらないで下さいね。