இப்போது கோயில் உள்ள பகுதி, ஆங்கிலேயர் காலத்தில் பட்டாலியன்களின் மிகப் பெரிய முகாமாக இருந்ததாம். அந்த இடத்தில் சுயம்புமூர்த்தமாகத் தோன்றி, அருட்காட்சி தந்தாள் காளிதேவி. எனவே, அந்த இடத்தில் காளியம்மன் கோயில் உருவானது.
பின்னாளில், இந்தப் பகுதியில் உள்ள யாதவ மக்களில் ஒருவர், எங்களின் குலதெய்வம், இஷ்ட தெய்வம் எல்லாமே எங்களுக்கு ஸ்ரீகிருஷ்ணர்தான். எனவே, இந்தக் கோயிலில் கண்ணபரமாத்மாவுக்கு சன்னதி அமைத்து வழிபட விரும்புகிறோம் எனத் தெரிவிக்க, காளிதேவியும் சம்மதித்தாள். அதையடுத்து, கையில் புல்லாங்குழலும் அருகில் பசுமாடுமாக, அழகு கொஞ்சும் வேணுகோபால கிருஷ்ணரின் விக்கிரகத் திருமேனியைப் பிரதிஷ்டை செய்து வழிபடத் துவங்கினார்கள்.
காலப்போக்கில், காளியம்மன் கோயில் என்று சொல்வது மாறி, தற்போது ஸ்ரீகிருஷ்ணன் கோயில் என்றழைக்கும் அளவுக்கு, அனைவருக்கும் கேட்ட வரங்களை தந்தருளிக் கொண்டிருக்கிறார் வேணுகோபால கிருஷ்ணன்.
