マルコムは
ネブラスカ州オマハに生まれる。
バプテストの反体制的な牧師だった彼の父親アール・リトルは、アメリカに
黒人の自由は存在しないと考えている人物だった。自宅敷地内に家庭菜園を作り家畜を育てほぼ自給自足に近い生活を送り、周辺に住む他の黒人のように白人に媚び諂い仕事を分けてもらう事を良しとしない人物だった。それ故一家は当時大きな勢力を誇っていた
KKKの標的にされていた。父は
1931年に
ミシガン州ランシングで人種差別主義者によって殺害された。頭が変形するほど殴られ、体が三つに切断されるように線路に放置されて轢死体となって発見された。明らかな殺人にも関わらず警察は自殺と断定した。当時マルコムの父は二つの保険会社の
生命保険に入っており、その内の一つは受け取りの金額が僅か数百ドルと小額だったため保険金が支払われたが、もう一つの保険会社は受け取りの金額が大きかったため、警察が自殺と断定したとの理由により保険金は支払われなかった。その後彼の母ルイーズは精神を病み、
精神病院に送られた。後にマルコムと兄弟姉妹が精神病院から引き取るが、その時にはマルコムを含めて子供達の事を全く認識出来なかった事から、人間モルモットまがいの扱いを受けていたものと推測されたが、病院側はあらゆる質問を拒否し彼女のカルテも無断で破棄したため事実は不明である。マルコムは自伝で、役所の人間が同じ事を何度も母に尋ね子供達を里子に出す事を強要したため精神を病んだのだ、と記述している。
ルイーズは黒人と白人の混血で、母親(マルコムの祖母)が白人に
強姦されて生まれた。一見すると褐色の肌の白人と間違えられ、そのお陰で職を得られた事もあったが、白人の血が入った黒人である事が発覚すると即座に解雇された。マルコムは自伝で、「母は自分の体に流れている白人の血を憎み、黒人の中でもとりわけ肌の色が黒く黒人然とした父と結婚したのだ」と語ってはいるものの、実際にはマルコムの父が殺害される数年前から夫婦仲は冷え切り喧嘩が絶えなかった、とマルコムの兄姉は証言している。事実、アールが殺害された晩も、夕食のメニューという些細な事で口論となり、彼が家を飛び出してその帰り道に襲撃され殺害されている。ルイーズは初婚であったが、アールにとっては3度目の結婚であった。彼女は夫の死後9人の子供を一人で育てる事になった上に精神を病んだため子供たちはそれぞれ別の家に里子に出された。
マルコムは白人の上流階級の家に引き取られたが、自伝ではあくまでも「高価あるいは珍しい動物としてしか扱われなかった」と語っている。事実この時代のアメリカでは
慈善事業を装って裕福な白人ほど黒人の孤児を引き取る事が流行していた。マルコムは幼い頃から優秀な成績を収め学級委員長に何度も当選したが、引越し先ではやむを得ず白人の学校に一人だけ黒人として通う事もあり、席は常に一番後ろだった。白人教師から将来何になりたいかを聞かれた時、弁護士か医者と答えたが、教師からは「黒人はどんなに頑張っても偉くなれない。黒人らしい夢を見た方がいい」と諭され、手先の器用さと人当たりの良さを生かして
大工になる事を勧められた。
高校を中退し、異母姉妹(アールと前妻の娘)と一緒に住むために
ボストンへ転居、
リンディー・ナイトクラブで靴磨きの仕事を行った。自伝で
デューク・エリントンや他の有名な音楽家の靴を磨いたと語っている。その後、
ニューヨークの
ハーレムで
ギャンブル、
麻薬取引、
売春、ゆすりおよび
強盗に手を染めた。さらに
第二次世界大戦中、
徴兵を回避するために精神異常を装った。ニューヨークでは黒人男性が白人女性を相手する逆
売春組織に入ろうとした事もあったが、母方から白人の血が入っていたためその肌の色は漆黒ではなく赤みの強い濃い茶色、瞳も髪の色も茶色がかっていたため、「肌の色が明るすぎる」として組織への入会を断られている。事実、彼は黒人の仲間達からその肌の色から「
レッド」の愛称で親しまれていた。