黑客George Hotz 爆料 GPT-4 由 8 个 MoE 模型组成,真的吗

George Hotz披露，GPT-4的构造似乎蕴含了复杂性。他提出，若深入探究这一模型的组成，可以发现它由8个MoE（Multiple Model of Experts）模型构成。这一观点，基于已有的信息和推断，引发了许多讨论。

首先，让我们审视已知的信息。多个可信来源指出，GPT4的参数量相比于GPT3.5，至少提升了至少一个数量级，意味着GPT4的参数量至少为1.7万亿以上。这一数据，反映了模型规模的显著增长，预示着其处理复杂任务的能力可能显著增强。

其次，回溯到去年六月，OpenAI发布了一篇技术报告，揭示了他们在训练大型语言模型（LLM）时采用了MoE技术。MoE模型允许模型在特定任务上选择专家模型进行处理，从而实现资源的有效利用和任务的高效率解决。

现在，让我们结合这些信息，对George Hotz的论点进行分析。某人声称GPT4是一个1.76万亿参数的MoE模型。若我们将这一观点与已知信息相结合，可以推测，如果GPT4真的由8个MoE模型组成，那么这一说法似乎与已知的数据相符。毕竟，每个MoE模型的参数量若均分配合理，累计起来达到1.76万亿参数的模型规模是合理的。

从贝叶斯定理的角度来看，我们已知的先验概率（即模型由8个MoE模型构成的可能性）与我们观察到的事实（有人声称GPT4是一个1.76万亿参数的MoE模型）相结合，可以得出较高的正确率。这表明，至少在某种程度上，这一论断的正确率接近或高于90%，基于已有的信息和逻辑推理。

综上所述，若George Hotz的爆料属实，GPT-4由8个MoE模型构成的可能性较大，这一观点基于已有的信息和合理的逻辑推理，具有较高的可信度。