蔣先云到武漢后按照征兵的辦法重新組建成立了工人糾察隊，這支新隊伍全部有小學文化，成為準軍事力量。英租界收回后，日租界的氣焰又囂張了起來，蔣界石加又加緊在南京另成立國民政府，劉少奇知道，大動蕩和大分裂在所難免。很快，他收到上海急電：贛州總工會委員長陳贊賢被國民黨殺害了。

1927年4月，毛澤東和楊開慧來到武漢，許久不見的毛澤東和劉少奇來到江邊暢談。劉少奇困惑的是工友們被壓迫的太久，他們提出的很多要求并不現實，他不知如此能有序領導他們斗爭，又能滿足他們的愿望。毛澤東建議劉少奇既不能冒進也不能落在后面，需要在實踐中慢慢摸索。毛澤東主張馬上實行土地革命，實現工農同盟的力量共同推進大革命，但中央總書記陳獨秀卻認為他的觀點激進，毛澤東在農村調查幾個月寫的《中國社會各階級的分析》連黨內刊物都不允許發表。毛澤東更擔心的是黨在和國民黨的合作上一直搖擺不定，不爭取主動權，也不發展自己的武裝力量，只搞糾察隊這樣的形式，而另一邊蔣介石的羽翼日漸豐滿，很明顯要投入帝國主義的懷抱，而他們的黨一點準備都沒有，面對日益嚴峻的形勢，毛澤東和劉少奇對黨的前途很是擔憂。

1927年4月12日，以蔣介石為首的國民黨新右派在帝國主義支持下，突然發動反革命政變，大肆屠殺共產黨人、國民黨左派和革命群眾，致使大革命遭到嚴重摧殘。中國共產黨果斷在武漢舉行第五次全國代表大會，批評陳獨秀忽略同資產階級爭奪革命領導權的右傾錯誤，劉少奇在這次會議中被當選為中央委員。

上海發動了反革命政變，中央擔心工人糾察隊的槍會成為敵人利用的借口，決定讓湖北總工會繳槍。會議上，大家讓劉少奇做為中央委員表態是否執行這個命令。劉少奇告訴大家，糾察隊名義上有三條多條槍，但從軍隊正式借出來的只有580多條，他建議：第一，立即將去年從軍隊借出來沒登記過的槍找些破槍爛槍替換掉。第二，把好槍和糾察隊里最堅定的同志連人帶槍立即轉移到葉挺和賀龍的部隊里去。第三，來不及轉移的槍立即掩埋起來。他的提議獲大家一致認同。

反革命政變事件持續蔓延，湖南發生了“馬日事變”，毛澤東奉命前往長沙調查真相，他連夜向劉少奇辭行，劉少奇將安源礦警團和萍鄉煤礦里已經傾向我黨的秘密黨員和軍官名單交給了毛澤東，中央已經安排他轉移去廬山了。劉少奇堅信毛澤東在五大會上講的工人和農民問題都是對的，二人緊握雙手堅信勝利終會到來。

劉少奇接到上級指示，明天一早就離開武漢去廬山，考慮到革命情勢驟然突變，為了女兒愛兒的安全，劉少奇托秉真找好了一名漢口的老工人照顧愛兒，何寶珍已失去了葆華，不想再失去愛兒，她原打算先把孩子送回湖南娘家，秉真勸她說湖南許克祥在到處殺人，別說共產黨，只要和農運沾上邊的一個不放過，連他都不敢回去，何況寶珍一個弱女子。何寶珍心里雖然萬分不舍，但她知道國家不安定就不會有小家的安寧。

1927年7月，劉少奇離開武漢。兩天后，武漢政府的汪精衛暴露反共面目，第一次國共合作破裂。1927年8月1日，中國共產黨打響了武裝反抗國民黨反動派的第一槍，揭開了獨立領導武裝斗爭和創建革命軍隊的序幕。

一個月后，毛澤東親自領導、指揮的秋收起義爆發，部隊統一編為工農革命軍第一軍第一師，中國共產黨人第一次高舉起了自己的軍旗。

1928年春，大革命失敗后，黨內工作陸續轉入地下，劉少奇以中央委員的身份，同妻子何寶珍來到天津，指導順直省委的工作。他們到達第一個接頭地點三會茶館后沒有對上暗號，又來到另一處接頭地點仍然沒有對上暗號。劉少奇懷疑天津的組織全被破壞了。決定再返回茶館，他出發時瞿秋白曾說過順直省委存在的問題非常緊迫，自李大釗犧牲后黨內情況非常混亂，劉少奇此次是臨危受命，是中央政治局對他的一次考驗。

劉少奇再次來到茶館在窗外聽到了“王大哥”的稱呼，他猜測這個王大哥很可能就是順直省委書記王藻文。劉少奇徑直闖入包間，很快和王藻文對上了暗號，確定屋里就是順直省委的人。劉少奇看到桌子上的麻將心里一緊，王藻文先問劉少奇是否帶來了中央的經費，接著其他人紛紛抱怨沒人經費無法開展工作，連生計都難以維持，劉少奇讓王藻文叫上省委的其他同志換個地方談話。

劉少奇質問王藻文兩個問題：為什么兩處聯絡點的同志都脫崗？第二，他在街上看到天津的日本駐軍今日是否反常。王藻文對此一概不知，劉少奇指出日本駐軍從武裝裝備上看要出遠門，而且往碼頭方向，王藻文這才安排人去打探消息。之后，省委的同志還是在追問經費的問題，甚至有人要打開劉少奇的箱子檢查，王藻文更是表示中央不撥經費不如把順直省委解散算了。劉少奇批評他們不能無端猜疑攻擊黨，黨的經費是由蘇俄共和和革命群眾捐贈的，大革命失敗后，捐贈渠道也被阻斷，黨因經費緊張未撥款和對順直省委的看法毫無關系。

晚上，何寶珍生氣順直省委的王藻文和李德貴思想立場有問題，根本沒有共產黨人的樣子，劉少奇告訴她，自大革命失敗后，黨從陳獨秀身上吸取教訓，提出革命領導層要工人化，王藻文和李德貴都是工人，所以理論水平弱些。