近日，semianalysis 分析师带来了更多关于谷歌多模态和高效机器学习工具 gemini 的爆料。
据透露，初代的 gemini 应该是在 tpuv4 上训练的，并且这些 pod 并没有集成最大的芯片数 4096 个芯片，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。
如果所有 14 个 pod 都在合理的掩模场利用率（mfu）下使用了约 100 天，那么训练 gemini 的硬件 flops 将超过 1e26。
gemini 已开始在新的 tpuv5pod 上进行训练，算力高达 1e26flops，比训练 gpt-4 的算力还要大 5 倍。另外，gemini 的训练数据库为 youtube 上 93.6 亿分钟的视频字幕，总数据集大小约为 gpt-4 的两倍。
此前，谷歌希望 gemini 大大提高软件开发人员的代码生成能力，以此追赶微软的 github copilot 代码助手。谷歌员工还讨论过利用 gemini 来实现图表分析等功能，比如要求模型解释完成图表的含义，以及使用文本或语音指令来浏览网页浏览器或其他软件。
一位测试过 gpt-4 的人士表示，gemini 至少在一个方面比 gpt-4 更具优势：除了网络上的公共信息外，gemini 利用了谷歌从其消费产品中获取的大量专有数据。因此，该模型在理解用户对特定查询的意图时应该会特别准确，而且它似乎会产生较少的错误答案（即幻觉）。
