Prvý inštitucionálny herbár v Košiciach vznikol pravdepodobne koncom 19. storočia na pôde semenárskej stanice Kráľovského uhorského semenárskeho kontrolného ústavu v Budapešti a v Košiciach, ktorá bola založená v roku 1884. V tomto herbári sa sústreďovali zbery divorastúcich rastlín z okolia Košíc a východného Slovenska, medzi ktorými sú aj exsikáty zberateľov Degena, Thaisza a neskoršie Deyla, ale aj zbery z pokusných políčok Ústavu pre kontrolu semien (pôvodne vyššie uvedená semenárska stanica), včleneného roku 1920 do Štátnych výskumných ústavov poľnohospodárskych. Jeho pokračovateľom od r. 1951 bola košická pobočka Ústředního kontrolního a zkušebního ústavu zemědělského (ÚKZUZ) v Prahe.
V roku 1950 vznikla v Košiciach Botanická záhrada Vysokej školy poľnohospodárskeho a lesného inžinierstva (VŠPLI), v ktorej sa začal sústreďovať rastlinný dokumentačný materiál z východného Slovenska a vznikol druhý inštitucionálny herbár, ktorý po premiestnení VŠLPI mimo Košíc prevzala do správy Slovenská akadémia vied.
V roku 1960 preberá Botanickú záhradu v Košiciach Pedagogický inštitút a rozsiahlejší herbár sa vtedy zredukoval na 3 415 herbárových položiek. V rokoch 1958–1960 bol však obohatený o 9 539 herbárových položiek košickej pobočky ÚKZUZ, ktorá odovzdala herbár z rokov 1897–1943 botanickej záhrade. Zároveň sa herbár rozširuje o zbery zo Slovenska a v roku 1964, kedy sa botanická záhrada stala súčasťou Univerzity Pavla Jozefa Šafárika (UPJŠ) má asi 16 tisíc položiek semenných rastlín.
Dlhé roky mala herbár na starosti Adelaida Lihová, ale herbár mal na svoje uskladnenie len núdzové priestory. Medzitým vzniká aj herbár Katedry špeciálnej biológie Prírodovedeckej fakulty UPJŠ, neskoršie prevzatý do herbára BZ. V r. 1984 preberá miesto kustóda herbára Vlastimil Mikoláš a jeho zásluhou boli rôzne časti herbára sústredené spolu a doplnené o mnohé cenné položky hlavne z rôznych pohorí Európy.
Začiatkom 90. rokov za podpory vtedajšieho riaditeľa BZ Sergeja Mochnackéhobola prebudovaná časť budovy BZ pre herbárovú zbierku a pracovňu herbára. Z iniciatívy Pavla Mártonfiho vznikol v roku 1992 v spolupráci s informatikom Petrom Bugatom databázový systém HERBAR pod operačným systémom DOS pre evidenciu herbárových položiek, ktorý bol neskoršie nahradený databázou v programe MS Access.
Od r. 2001 sa stala kustódkou herbára Lenka Mártonfiová. V súčasnosti herbár zahŕňa asi 60 tisíc položiek, z ktorých je takmer 35 tisíc evidovaných v databáze a časť z nich (takmer 5 000 kusov) je oskenovaných v elektronickej podobe.
