Hrísey er um 11,5 km2 að flatarmáli, um 7 km að lengd og 2,5 km þar sem hún er breiðust. Hún rís hæst um 110 m yfir sjó norðaustan við Ystabæ en er víðast sléttlend nema á ytri hluts austurstrandar en þar eru brattar skriður í sjó fram. Allsstaðar nema á suðurodda eyjarinnar er bratt í sjó fram, 3-10 m háar brekkur eða klettar og undir þeim víða mjóar stórsteinafjörur. Víða má því lenda við Hrísey en ekki er allsstaðar jafnskjólgott eða auðvelt að draga báta upp á land. Neðan við túnið í Syðstabæ var sandeyri og sitthvorumegin við hana voru breiðari og meira aflíðandi fjörur en annarsstaðar í eyjunni og hefur mest útræðið því jafnan verið frá þeim stað.
Öll hefur eyjan verið gróin á landnámsöld, sennilega birkikjarri eins og nafn hennar bendir til. Á seinni öldum er getið um uppblástur í Hrísey30 og virðist hann hafa stafað af ofbeit. Enn eru berir melar sumstaðar, einkum á norðurhluta eyjarinnar en hún er óðum að gróa upp enda hefur ekkert sauðfé verið í Hrísey frá 1974.