五丈殿の北に、御酒殿神と並んで建ちます。社名の由貴は清らかで穢れがないという意味で、神に供える品を納める倉でした。建て替えで役目を終えた旧社殿は、火災で本殿を失った京都の與杼神社へ渡り、1975年から4年間その仮本殿として使われました。