关于蛮话的归属曾有不同的看法，有“吴语说”和“闽语说”，1984年第2期的《方言》杂志上曾进行过一场争论。
傅佐之主张“吴语说”：“总之，如果从蛮话的声母、韵母、声调特点来看，平阳蛮话（即苍南蛮话）与平阳瓯语比较接近，可以把它归入吴方言系统。另一方面，平阳蛮话具备的闽语语音特点不多，把它划归闽语的理由似乎不够。”
颜逸明认为：“因为蛮话很难懂，又带个‘蛮’字，有人就把它和畲语并提，或者怀疑它是一种闽语。其实蛮话并非少数民族语言，也不是闽系方言，而是吴语的一支。”
闽语说郑张尚芳则主张“闽语说”：“虽然平阳蛮话有全浊声母读浊音的特点，但从其他方面来看，它的闽语性质还是比较明显的。”
1988年出版的《中国语言地图集》采取“闽语说”，把泰顺的蛮讲和江南垟的蛮话都归属“闽语闽东区蛮话片”。后来，采取“闽语说”的学者明显占优势。其中最重要的是潘悟云（1992），根据蛮话中“鼻”和“树”两个古全浊去声字的读音认为蛮话属于闽东区。日本秋谷裕幸（2005）从语音、词汇、句法三方面全面、细致地记录和比较了泰顺蛮讲与苍南蛮话，并提出“蛮话片”的概念，肯定它们为浙江境内的闽东方言；秋谷裕幸在《浙南的闽东区方言》、《闽东区福宁片四县市方言音韵研究》中把蛮话归属于闽东语蛮讲区。
潘悟云（1992）从历史上的语言接触、演变角度论证了蛮话性质：蛮话的文读大致是瓯语的，白读大致是闽语的，它在古代属于一种跟闽东话很接近的方言，后来在吴语的长期包围、影响下逐渐向吴语的方向变化。潘文从声、韵、调三方面较为详细地列举了蛮话中的文白异读，对人称代词、远指代词等封闭类词汇也进行了特征考察。潘悟云认为蛮话在古代属于一种跟闽东话很接近的方言，但没有从地理历史的角度进行详细论述。笔者赞同潘悟云这一观点。
过渡说也有研究者认为蛮话兼有吴语和闽语的特点。平阳籍语言文字学家、山西省社会科学院语言研究所温端政如是说：“苍南蛮话，有与瓯语一致的一面，又有与闽语一致的一面，就出现了两种不同的意见：一种认为它属于吴语，一种认为它属于闽语，现在还没有取得一致的看法。不过，查阅说蛮话地区的几个大姓的宗谱，多载明其先祖系五代天福年间为逃避战乱从福建赤岸迁来。联系这个历史社会因素来考察，苍南蛮话的底层似乎也属于闽东话，后来由于长期接受瓯语的影响，才在语音、词汇、语法等各个方面，特别是语音方面有许多接近于瓯语的地方。”
温端政联系家谱本是深入研究蛮话的途径，但江南垟部分姓氏却简单地按“谱”索骥，纷纷去霞浦一带寻宗问祖，当然是无果而归。唐宋时期闽东赤岸一带居民迁移到乐清、永嘉、平阳后，他们的语言都被同化。而且，迁入江南垟的居民在上百年中只有几户人家，江南垟土著居民人数虽然没有记载，但从唐代芦浦、灵峰等地已经有寺庙，宋代已有前仓（钱仓）、杷槽（舥艚）、泥山（宜山）三镇，此外还有南监市、白沙市、将军市等贸易的集市，可见江南垟地区肯定已有一定数量的人口，他们不可能因为入迁的几户人家而学习一种新的闽东语语言，更何况，当时的闽东语与蛮话应尚能互相沟通。这种从移民得出蛮话就是闽东语的结论，与蛮话归属于闽东语蛮话区有本质的区别，移民说是简单的逻辑推理，忽视了外来弱势语言会被当地强势语言所影响、同化或消灭的因素。蛮话作为生存在江南垟的土著母语，在没有遭受灭族等重大事件的情况下，一般是不会轻易改变的，而且蛮话肯定是作为强势语言在江南垟一带占据了绝对优势。
在“吴语说”和“闽语说”之外，游汝杰认为蛮话反映了民系边界方言混化现象，应单独划为吴闽语的过渡区。方言过渡区是方言所在的地理的渐变性和不同方言相互接触和交融造成的。但游汝杰并未详细讨论过蛮话里的“混化”特征。
综上所述，“吴语说”主要是从蛮话的文读层与温州话类似得出，“闽语说”主要是从底层词汇与唐宋移民得出；但如果从历史与地理的角度进行动态研究，或许更能探究其真实面目。在对蛮话性质的论述中，江南垟蛮话区域在唐朝之前的历史挖掘还不够充分。郑张尚芳（2008）表示：“苍南蛮话到底是先唐土著方言或唐宋闽语移民因聚居而保留，需要进一步搜集材料证明。”
土语说综合专家学者们的论述，结合前面几章节的地理历史角度考证，可以认为：苍南蛮话与泰顺蛮讲是先唐土著方言（郑张尚芳，2008），它大致在唐代前属于一种跟闽东话很接近的方言（潘悟云，1992），在先秦时期呈带状分布，此后，随着东瓯国北迁及到六朝时期浙江南部地区由北到南渐次完成汉化，在吴语不断南扩（至苍南灵江、宜山一带）与明清闽南语北移（至苍南灵溪、平阳水头一带）的强势影响下断裂为两个较大的方言岛（陶寰，2013）。
因此，从语音性质上讲，蛮话属于闽东语；从历史角度而言，蛮话属于土语，两者并不矛盾。把蛮话归属于浙南土语，是出于多方面的考虑：
一是考虑到桐桥石棚墓的悠久历史以及江南垟土著的汉化进程，唐宋时期江南垟已经有一定数量的人口；
二是土语说由来已久，民国刘绍宽、王理孚《平阳县志》卷十九《风土志一》曾对当时蛮话的来源作土语的判定；
三是蛮话属于闽东语与江南垟家谱记载“来自长溪赤岸”没有必然的联系。
