Mitroglou wurde am 12. März 1988 in der nordgriechischen Hafenstadt Kavala geboren.

Schon als Kind wanderte Mitroglou mit seinen Eltern nach Deutschland aus und wuchs in Neukirchen-Vluyn am Niederrhein auf. In der Jugend spielte er für den SV Neukirchen und den TuS Preußen Vluyn, ehe er 2001 zum MSV Duisburg wechselte.

2005 wechselte Mitroglou von Duisburg zu Borussia Mönchengladbach und schoss für die Jugend in 35 Spielen 38 Tore. Im Alter von 17 Jahren wurde Mitroglou in die zweite Mannschaft berufen, mit der er im Sommer 2006 in die Regionalliga aufstieg. Allerdings konnte sich Mitroglou in Gladbach nicht durchsetzen und wechselte zur Saison 2007/2008 zu Olympiakos Piräus.

Am 30. September 2007 feierte er gegen Aris Saloniki sein Debüt in der griechischen Liga, am 11. Dezember debütierte er im Heimspiel gegen Werder Bremen in der Champions League.

Im Januar 2011 wurde Mitroglou bis Saisonende an Panionios Athen ausgeliehen und erzielte acht Tore in elf Spielen. Im Sommer des gleichen Jahres wurde er für ein Jahr an Atromitos Athen verliehen, wo er den Durchbruch schaffte.

Für Atromitos erzielte Mitroglou 16 Tore in 28 Partien, nach dem Ende des Leihgeschäftes behielt Olympiakos den Stürmer.

2014 wechselte Mitroglou in die englische Premier League zum FC Fulham, blieb dort aber blass. Deshalb wurde der Grieche an Olympiakos Piräus verliehen, wo er in 24 Spielen 16 Tore schoss.

Zur Saison 2015/16 wechselte Mitrogluo zum portugiesischen Meister Benfica Lissabon – erneut auf Leihbasis.