LLM 是现实世界的快照
读到了 Redis 作者 antirez 的一篇文章《LLM 的权重是历史的一部分》。
的确,网络上越来越多的信息已经永久消失了(现在能打开一个 2010~2020 年之间的某个链接都已经几乎是奇迹了)。存档的工作很重要,但是这样做并没有经济效益。已训练的 LLM 虽然可能会有幻觉,但至少代表了某一个时刻的现实。而且考虑到模型分散的足够多,可能比传统的集中式存档(例如 Internet Archive)更能持久的保存下来当前我们所见的世界。
读到了 Redis 作者 antirez 的一篇文章《LLM 的权重是历史的一部分》。
的确,网络上越来越多的信息已经永久消失了(现在能打开一个 2010~2020 年之间的某个链接都已经几乎是奇迹了)。存档的工作很重要,但是这样做并没有经济效益。已训练的 LLM 虽然可能会有幻觉,但至少代表了某一个时刻的现实。而且考虑到模型分散的足够多,可能比传统的集中式存档(例如 Internet Archive)更能持久的保存下来当前我们所见的世界。