Samotność Partii
Myśl, idea i decyzje leżące u podstaw powstawania budynku zmieniały się wraz ze zmianą sytuacji politycznej. W 1948 roku zjednoczeniu uległy partie PPR i PPS, w wyniku czego powstała PZPR. W tym samym roku PSL zjednoczyło się ze Stronnictwem Ludowym tworząc ZSL, a dwa lata później, w wyniku przejścia większości działaczy ze Stronnictwa Pracy do Stronnictwa Demokratycznego, działalność SP została zawieszona i na placu boju pozostało SD. Tak więc, nim zakończono w 1952 roku budowę Domu Partii, z dotychczasowych sześciu ugrupowań chętnych do zamieszkania w budynku zostały już tylko trzy.
PSL po zjednoczeniu nabrało jednak apetytu na bardziej samodzielny byt i zaczęło myśleć o własnej siedzibie pod nazwą „Dom Chłopa”. Podobnie postąpiło SD, uzyskując własną siedzibę przy ulicy Rutkowskiego (obecnie Chmielnej). W „Domu Partii” pozostała osamotniona Polska Zjednoczona Partia Robotnicza. Sama nazwa obiektu, która przez taki obrót spraw nabrała zgoła innego niż pierwotne znaczenia, pozostawała w powszechnym użyciu do końca lat sześćdziesiątych. W latach siedemdziesiątych w potocznym użyciu znalazła się nazwa „Biały Dom” nawiązująca do amerykańskiego ośrodka władzy. Właśnie poczucie władzy spowodowało, że kolejną nazwą rozpowszechnianą w tym czasie była nazwa „Gmach KC PZPR”, która w latach osiemdziesiątych skróciła się tylko do nazwy „KC”.
Do pierwszej połowy lat siedemdziesiątych w gmachu swoją siedzibę miały: Komitet Centralny PZPR, Komitet Wojewódzki PZPR oraz Komitet Warszawski PZPR. Po reformie administracyjnej Polski w latach siedemdziesiątych rozwiązano Komitet Wojewódzki PZPR, natomiast Komitet Warszawski przeniósł się na ulicę Chopina. Na placu boju pozostał tylko Komitet Centralny PZPR.