Ларсен начал свою карьеру в молодёжной команде «Эсбьерга», где он выступал до 2005 года. После этого Филип переехал в «Рёгле», в котором он дебютировал в Аллсвенскане, втором шведском дивизионе. Уже после года игры за «Рёгле» Ларсен подписал контракт с клубом «Фрёлунда». В молодёжной команде «Фрёлунды» Филип становился победителем чемпионата Швеции до 20-и лет два года подряд (2007 и 2008). Кроме того, он периодически выступал во взрослой команде в Элитной серии. В сезоне 2007/08 Ларсен на правах аренды выступал за «Бурос», где в 24-х матчах набрал 10 очков. На драфте НХЛ 2008 года он был выбран в 5 раунде под общим 149-м номером клубом «Даллас Старз». Ларсен остался на два года во «Фрёлунде», где стал крепким игроком основы.
После окончания сезона 2009/10 в Швеции Ларсен дебютировал в Национальной хоккейной лиге за «Даллас»[1]. В сезоне 2010/11 он в основном играл за «Техас Старз», фарм-клуб «Далласа» в АХЛ. Также Филип сыграл ещё шесть матчей в НХЛ, в которых отдал две результативные передачи. В сезоне 2011/12 Ларсен сумел закрепиться в «Далласе», отыграв уже 55 матчей в регулярном чемпионате НХЛ. 21 января2012 года Филип забросил первую шайбу в НХЛ, отличившись в матче с «Миннесотой»[2].
4 марта 2022 года ХК «Салават Юлаев» сделал заявление о том, что Филип покидает клуб. Контракт расторгнут по обоюдному соглашению сторон. 9 июня 2022 года подписал контракт с датским клубом «Эсбьерг».