+ 24年1月随笔总 +
+ + +24.1.3
#人工智能 #LLM
用了一下月之暗面的Kimi，前几个月还是内测，现在就公测了。比较亮眼的点是可以联网进行搜索。但是这也暴露出一个问题，即基础语料的低质量导致最终结果的低质量。
我给出的问题是中国关于人工智能的初创公司，但是他就是使用百度搜索引擎进行搜索，然后把结果给我进行了复制并展示，但是百度的基础数据很低质，只给出了几个大厂以及百川智能。
+还有一点就是所谓的开放平台。目前看来，所有做大模型的厂商都走的这个路数。提供chatbot基础功能给C端，以web形式进行交互。提供API给B端。商业模式上向OpenAi看起，虽然在OpenAI上这样的商业模式可以玩得转，但是在存在很多个模型的市场中这样的商业模式是否能work？以及这样的商业模式达到规模化还需要哪些努力？
+24.1.5
#LLM #人工智能 #产品 #saas
归根结底，目前大多数人工智能初创公司所做产品仍然可以被归结于SaaS产品。对SaaS来说，国内外的付费习惯存在着差别。（后续可以找资料论证、比如国外投SaaS的企业）
还是回到之前说的，国内习惯不付费、国外习惯付费。因此如果你做一个产品，通过某种渠道分发，有了一定的用户量后，你的收入可能可以摊平算力和服务器成本，从而每天赚点小钱。但这是否能成就一个独角兽？仍然是有待商榷的问题
+就付费来说，也可以分为显式付费和隐式付费。例如office套件价格已经包含在我们的电脑价格上了。office有了PC这个入口，而且PC生产商还充当了经销商的角色。PC生产商则补充了硬件上最重要的操作系统与基础软件。win-win
+如果整个AI产品能够以搭售的形式配合一个流量入口，我觉得能比单纯的做一个killer app有更好的增长路径
+这个例子就是视频号，短视频已经是被验证成功的商业模式，视频号依托微信这个巨大的流量入口，通过某个朋友在看来挑动用户进入。
但是这里还有一个问题，就是商业模式是需要被验证过的。
24.1.22
#LLM
+底层的foundation model会有隐形冠军吗？不可能
+更强大的模型一定是现有的玩家推出的，可能会突然出现一个厂商像憋了一个大招一样出来吗？
+在整个训练过程中，形成一个foundation model最重要以及最初始的一部就是pre-train。基于训练模型的规模，一次预训练就要耗费许多的算力资源（具体参数规模下需要多少钱）。而最终形成一个可用的model可能还需要很多次的训练。
+在这样的思路下，从算力供应方的角度来看，进行foundation model研发所需要的算力一定会远远大于只进行fine tune的算力。这样就一定需要大量的资金来支持算力资源的供给。而那些大笔融资额巨大或估值较高的公司总是会有大量的PR稿，因此在foundation model这个行业，估计很难出现隐形冠军
+在这样的思路下，头部企业就会是行业的主要玩家。而由于数据隐私等问题，中国注定会有自己的大模型公司。因此投资中国本土大模型公司的前三是一个可行的思路。
+24.1.23
#LLM #GPU
大模型层 应用层都是在给GPU厂商打工吗？
第一个问题，必然是yes，首先很简单的逻辑就是。大模型推理和训练都需要GPU算力，应用层又都需要大模型的推理。因此毫无疑问GPU是整个供应链的最上层。如果算力的成本占据了大多数（是否有数据支撑）那么毫无疑问，所有下游都在给上游打工
+但问题就来了，按照这个逻辑来说，只要处于供应链的上游，下游就都在给上游打工。原材料硅这些才最赚钱了，大家都在给硅的供应商打工吗？
+很明显不然，在我看来造成这个现象有两个原因。一个就是GPU是垄断市场，Nv占据了90%以上的市场份额，在供应链的这一层，他没有竞争。而也正是他巨大的市场份额使得他的产品可以在下游产品的成本中占据更大的份额。
+第二个原因需要分开来看，在推理时foundation model的寻租地位使得占foundation model成本一大半的GPU天然形成了更高一级的寻租者。而训练时又需要大量依靠算力。
+我们可以用云服务器时代的主机来类比。实际上服务器也是互联网时代的寻租者。但是服务器的竞争过于激烈了，客户选型太多。而AI时代，GPU的选型目前只有一个，就是Nv。
+现在问题就是，国产什么时候能出个靠谱的GPU啊
+#问题
推理和训练的成本到底怎么算
#LLM #投资 #云厂商
为什么云厂商要投资LLM公司
天然有利，可以出售自己的云服务器资源
+24.1.26
#投资机会
显存相关的技术 可能是下一个投资机会吗？
毕竟目前的大模型的参数设定，主要都是依据于训练和推理时机器的显存大小。