באוגוסט 2003 נעצר פליקס חלפון בחשד להברחת 5 ק"ג של סמים מסוג קוקאין מוונצואלה על ידי בלדר בשם אורי אביטל שהיה גם שותפו לעסקים בעבר. במסגרת עסקת טיעון, נגזר על חלפון עונש מאסר של 4.5 שנים. ממאסרו נוכה לבסוף שליש בשל התנהגות טובה והוא השתחרר ב-8 ביוני 2006 מכלא מעשיהו.
חלפון, אחד השחקנים הגדולים ששיחקו בישראל, בין השאר בקבוצות הפועל תל אביב, מכבי תל אביב, בית"ר ירושלים ואף בנבחרת ישראל, יתראיין הערב לרתם איזק ב"אנשים", שם יספר בין היתר על התקופה שאחרי המאסר, היחסים עם אמו והחברים שנעלמו: "זה כואב לי, זה משהו שאמא שלי ישבה, וכל הזמן אני זוכר את הפנים שלה שהיא סבלה את זה. ביום אחד הרסתי את התדמית שלי - ואמא שלי, אחד הדברים שאני אקח איתי תמיד זה שהכאבתי לה. אני יודע שהיא יודעת מי אני. הייתי רוצה שהיא תראה אותי היום במקום טוב".
"התרסקתי כלכלית", חושף חלפון בראיון שישודר הערב. "לא היה לי כלום. הייתי ישן על הרצפה ארבע שנים - מישהו יודע? למישהו אכפת? מישהו דפק לי בדלת ושאל אם אני צריך עזרה? אף אחד. כל החברים שלי ברחו ממני כמו מאש".
"אנשים" עם חיים אתגר וקורין גדעון: ראשון עד חמישי ב-17:15 בקשת, ערוץ 12