Etymologia tego słowa do dnia dzisiejszego wywołuje wśród historyków wiele sporów. Polska nazwa może pochodzić od wyrazu gród, inni badacze twierdzą, że od grudzistej ziemi, gdy zimą jest ona zamarznięta, pokryta grudami. Na starych mapach widnieje niemiecka nazwa Gernheim. Termin Grudzia jest więc być może zniekształconą kalką językową z języka niemieckiego.

Po południowej stronie wzgórza, u jego podnóży mieścił się kiedyś folwark Gernheim. W tym przypadku nie można więc mówić o wsi sensu stricto. Na obecną chwilę nie dysponujemy szczegółowymi danymi dotyczącymi daty założenia owego folwarku. Prawdopodobnie miało to miejsce w pierwszych latach XIX wieku. Nie posiadamy również żadnych danych na temat późniejszych losów wzmiankowanego folwarku. Folwark i jego otoczenie stanowiły przysiółek przypisywany w 1895 roku do wsi Warniki. Natomiast w 1939 roku wzmiankowany jest on już na mapach i w źródłach jako jeden z sześciu przysiółków należący do Dąbroszyna. Przed II wojną światową wzgórze Grudzia wraz z przyległymi doń pozostałościami folwarku znajdowało się w obrębie poligonu wojskowego. Folwark zlokalizowany był na skrzyżowaniu obecnej Alei Milenijnej i ul. Północnej.

Samo wzgórze Grudzia jest piaszczystym wzgórzem morenowym położonym ok. 2 km na północny zachód od Warnik. W literaturze archeologicznej wzgórze znane jest z badanego w latach 1955-1957 cmentarzyska ciałopalnego społeczności kultury łużyckiej z IV - V okresu epoki brązu. Na tym stanowisku archeologicznym odkryto 33 groby ciałopalne. Część z odkrytych wówczas naczyń (popielnic i przystawek) prezentowana jest na wystawie w Bramie Berlińskiej.

Obecnie na wzgórzu znajdują się zbiorniki wyrównawcze wody pitnej dla naszego miasta oraz maszt sieci Plus. W czasie Przystanku Woodstock na samym wzgórzu rozbity jest namiot Akademii Sztuk Przepięknych oraz umiejscowiony parking dla gości. Ze wzgórza rozciąga się rozległy widok na miasto Kostrzyn i okolice.