怒族住房有木板和竹篾兩種。木板房略大，成長方形，一般分為內外兩間。外間供待客用，設有一至數個火塘，火塘上有鐵三腳架或石頭腳架，用來煮飯做菜；內間為主人的臥室兼糧倉，一般不許外人進入。竹篾房比較矮小，也分內外兩間，但貧困人家有時隻有一間。兩種房屋大多分隔為兩層，樓上住人，樓下關牲畜，並用許多木樁架在斜坡地上，再以木板或竹篾席鋪在木樁架上。《維西見聞錄》說：“怒子居怒江內??????覆竹為屋，編竹為垣”。這種竹屋由於結構簡單，既易於建築，也易於拆遷。按照傳統的風俗習慣，一家建房，全村幫忙，民族或村社成員紛紛送來建築材料，一天之內就可以把房屋建成。這種竹木屋，每幢居住一個小家庭，既適合山區多雨多霧多瘴癘的特點，又適合怒族一夫一妻製家庭的社會狀況。若幹戶這樣的人家，既組成一個村寨。
    怒族村寨大小不等，大者四、五十戶，中等者二、三十戶，小者僅十餘戶。這些聚居村落大都是由具有血緣關係的家族組成，如碧江縣的甲加、羅宜益兩個自然村落，就是由“俄皮穀”、“俄則穀”兩個父係家族所組成；福貢縣的木兩甲、阿尼岔兩個自然村落；就是由“穀乃比”、“次邦”兩個父係家族所組成。以家族或氏族為單位組成聚居村落，這是怒族村落的一個特點。
    這些彼此有血緣關係的氏族或家庭，不僅居於一個村落內，維係著彼此的物質聯係，還共同崇拜著一個圖騰動物，維係著彼此的精神聯係。怒族稱氏族為“起”，蜂氏族叫“別阿起”，虎氏族叫“拉麽起”，此外還有馬鹿氏族、麂子氏族、巨蛇氏族等??????。各氏族或村寨都以所崇拜的圖騰動物作為氏族或村寨特點的標誌，在不同標誌下的各個氏族，都有自己的氏族或村寨頭人。頭人由全氏族或村寨選舉產生，他們在群眾中享有很高的威望，但一般沒有特殊權利，如果平時辦事不公，群眾可以把他們撤換。一個村寨內如果有幾個氏族，就在各氏族頭人中推選一個威望最高的作為村寨頭人。
    過去，每個村寨都有村寨公有的土地，其中一部份山林或荒地又為村寨內各家族分別占有和使用。這些土地沒有明顯標誌，但外人不得隨意砍伐或耕種。距離村寨較遠的高山密林為村寨公有或幾個氏族共有。村寨之間也有明顯的地界，無論打獵、放牧、砍柴、割蜂蜜等，都不能越出本村寨的地界，即使追逐越界的野獸，也要征得鄰寨頭人的同意才行。
    氏族村寨之間過去往往因土地糾紛引起械鬥，參加械鬥往往是氏族或村寨全體男人的義務。但這種原始的血族複仇的習俗如今已經消失。