chatgpt3.0不能用了么(ChatGPT3.0开启封锁模式)(1)

看了周鸿祎和张朝阳的访问,才知道国内根本还没有搞明白chatGPT的架构原理。目前开源的只是GPT1.0和GPT2.0,而最新的GPT3.0和3.5根本没有开源。chatGPT3.5已经可以通过图灵测试,以前所有的人工智能都没有办法通过图灵测试,这就是chatGPT3.5的革命性。

Chat源代码封锁

chatgpt3.0不能用了么(ChatGPT3.0开启封锁模式)(2)

这个地方可以看一下 OpenAI 发展的技术史,动态看 18 年后一到两年时间国内的技术追赶比较快,提 出比较好的改进模型,但真正的差距拉开是 20 年中,也就是 GPT3.0 出来后,当时可能很多人觉得 GPT3.0 不仅是技术,体现了 AI 模型的发展新理念,这个时候 我们跟 OpenAI 的差距拉得比较远,因为 OpenAI 对这一块有技术的独到见解,也领先了国外的 Google,大概 Google 比 OpenAI 差了半年到一年的时间,国内差了两年的时间。所以梯队上,OpenAI 排第一梯队,Google 排第二梯队,百度排第三梯队。

所以国内企业是拿不到GPT3.0的源代码的,根据美国对中国采取封锁的方针,中国没法使用GPT3.0和3.5源代码是必然的,也就是国内企业根本不懂GPT3.5的算法原理是什么。

拿不到源代码,结果只有2个:一是只能靠国内的力量研发,慢慢的迭代,可能三五年之内都拿不出一款达到chatGPT3.5水平的产品;二是相当长时间以内,国内同款产品的功能远低于chatGPT。

这一波人工智能的突破,最重要的几篇重要的论文都是美国发表的,国内科技工作者几乎毫无建树。这说明了,中国根本就没有研发GPT底层算法这方面的人才,这决定了后面中国发展人工智能的阻力大非常巨大。

百度即将发布类chatGP3.5T的应用,我看了流出的测试版本,与chatGPT差的不是一星半点。谷歌也发布过相关产品,翻车了,股价蒸发7000多亿。

不仅如此,国内还存在一个巨大的问题严重阻碍中国研发出类chatGPT的发展。美国的主要互联网内容都是有网页版的,可以通过搜索引擎搜索分析。而中国的互联网企业圈地思维严重,把自己平台的内容当成私有财产,各自信息都放到APP里面,严禁爬虫抓取。这就导致中国企业即使搞出了一个模仿的算法,也会因为信息孤岛,缺乏训练数据而迭代十分缓慢。中国进步一步,美国企业已经进步十步了了。

国内代差在哪里

1、ChatGPT和以前GPT大模型的区别:ChatGPT是基于GPT3.5的基础模型框架,核心变化在于通过 真实的调用数据以及人类反馈的强化学习进行训练。

2、国内企业与ChatGPT的差距:百度、华为等头部厂商都有大模型,百度文心模型参数量已经达到 2600亿,从技术能力上国内相比专家判断比chatGPT约晚1-2年,OpenAI第一梯队,Google第二梯 队,百度第三梯队。从数据、算力、模型的维度上,主要是差在模型环节,包括清洗、标注、模型结 构设计、训练推理的技术积累。

3、训练成本昂贵:GPT3.0离线训练成本高达1200万美元,大模型重新训练成本达400万美元,都是 租用微软的计算资源,成本与训练数据量成比例,增加gpu也可提升训练速度,中小厂商或将无法承 担高昂的大模型自研成本。

4、模型训练所依赖的高性能芯片被美国卡脖子的解决方案:1)采用国内自研GPU;2)用分布式 CPU替代,部分大厂应用采用分布式CPU的方式进行训练。

5、未来商业模式:OpenAI或将对外输出模型能力,国内百度等企业也会跟进,国内应用软件企业未 来可能采用OpenAI或百度等厂商的AI模型作为基础能力。

威胁所在

1.算法,gpt3.0是开源的,但是到目前这代已经不开源了,想直接用是不可能了,这个是有代差的。

2.算力,这个就是拼财力,但会直接投入多少资金?要不要贷款还是定增,都需要时间。

GPT3.0涉及1700亿参数,内存达300 GB,训练过程耗费1200 万美金,此外离线训练后,访问请 求来来的线上服务也需要开销。基础设施都是微软的计算系统进行,没有自建。训练过程中会出现 bug,但是都没有敢重新训练这个模型,因为成本太高了,所以没有做及时的修补,披露出的数据是重 新训练一次要400 万美金。

GPT3.0对GPU算力要求很大,训练过程采用400 个GPU。未来对GPU需求越来越大,价格变得贵 产业链供应能否跟上需求是重要的限制条件。这也导致创业公司会更难做相关的事情,可能更多集中 在大厂做这些事情。

3.数据,chatgpt是通用型ai,需要通用数据的,国内基本做的是专业型ai,用的是专业数据,讯飞有没有通用数据库?百度,360有搜索引擎的倒是有通用数据。

4.chatgpt已经要接入bing了,这对其他搜索引擎是毁灭性打击。

5.通用ai可以转型专业ai,只要喂专业数据就好了,但是专业ai不能转通用ai,这对专业ai公司也是一种利空。

机会标的分析

chatgpt3.0不能用了么(ChatGPT3.0开启封锁模式)(3)

密集看了ChatGPT,开放的心态看待新事物,包括大咖,工程师和研究员观点,结合自己的想法小结下,科普:ChatGPT模型从18年开始迭代为GPT1,到19年有GPT2,到20年有 GPT3等等,通过一系列的模型迭代,在今年推出了ChatGPT。这个模型是基于GPT3的模型框架,GPT3的参数量级非常大,有1700多亿,这个模型出来后效果比较好。OpenAI的ChatGPT,这里是有几个关键点的:

GPT-3.5:ChatGPT是OpenAI用RLHF的回馈机制强训GPT-3.5后得出来的产品

大模型:ChatGPT是大规模预训练模型GPT-3.5,是能力很强大的高性能基座模型GPT-3的升级版本

参数量:千亿参数量

高算力:每次预训练需要用到1000块以上英伟达A100显卡,工作半个月至一个月。

海量数据:微软的edge浏览器、office办公软件1,ChatGPT是基于GPT3.5架构开发的对话AI模型,随着模型不断迭代,层数也越来越多,对算力的需求也就越来越大。是否会颠覆很多行业的技术运用?现在判断还为时过早。但确实是现在低迷科技界爆发的一个现象级事件,2022-11底上线,两个月时间,一亿用户。

2,ChatGPT完美运行的三个条件:训练数据 模型算法 算力。其中训练数据技术壁垒较低,投入足够的人力物力及财力后即可获得;基础模型及模型调优对算力的需求较低,但获得ChatGPT功能需要在基础模型上进行大规模预训练,存储知识的能力来源于1750亿参数,需要大量算力。所以,算力是ChatGPT运行的关键所在。

3,算力芯片GPU,由于具备并行计算能力,可兼容训练和推理,所以目前被广泛应用,ChatGPT训练模型中就已导入至少1万颗英伟达GPU,现在用的就是英伟达的A100,最近消息,英伟达推出一款性能差一些的A800到国内,应对瞌睡乔的禁运,所以,ChatGPT的火热兴起对GPU的需求可见一斑。

还有种说法是CPU FPGA或gpu fpga的算力组合,从深度学习的角度来看,虽然GPU是最适合深度学习应用的芯片,但CPU和FPGA也不可忽略。4,美国股票市场来看,今年从价值切换到成长,ChatGPT的概念涨幅大,行情先,算力的英伟达相对小些,但从底部也有一倍的涨幅。5,国内ChatGPT与美帝有代差,大多停留在概念层面, 但市场也是概念先行,如$云从科技-UW(SH688327)$ ,被证监会点名的格灵深瞳,科大智飞。随后刺激算力芯片股,如gpu的海光科技,cpu的龙芯中科,和fpga的安路科技-U(SH688107) ,这些芯片股跟顶流差距大,我熟悉点的安路跟amd的产品至少十年以上的差距。不过资本市场就是这个套路,一波上涨需要事件点火催化。

我会在 公众号:海涵财经 每天更新最新的医疗新基建、一体化压铸、 汽车智能化,激光雷达,HUD,车规芯片,空气悬挂、L3级智能驾驶、PET铜箔,纳电池,800V高压,光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘,未来属于高预期差的结构性市场,把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。

— END —

先赞后看,养成习惯

免责声明:图片、数据来源于网络,转载仅用做交流学习,如有版权问题请联系作者删除

,