分享 on Nekonull's Garden

LLM x 书签收藏：摘要 & 全文索引

Mon, 07 Oct 2024 13:52:00 +0800

背景

网上冲浪的时候，经常会遇到一些有趣的文章或者网站，让我有收藏起来以备后用的冲动（虽然绝大部分情况下都没有再用过）。然而一个人收藏未免有些太孤单了，因此自从 2021 年 5 月以来，我一直在使用一个名为 osmos::memo 的书签插件，将我的收藏直接记录到一个公开的 Github 存储库。这个插件的工作原理很简单，首先设置好 Github 的 token，然后每次点击收藏按钮都会在浏览器里临时 clone 一次，追加新收藏的条目到文件顶部，生成 commit 并提交，然后推送回 Github。但是这样简单的工作流程也十分有效，除了 token 过期的时候需要手动续期（过期前有 Github 自带的邮件提醒，所以基本上不会拖到最后），没有什么可以出错的空间，近三年半下来也已经帮我积累了 800+ 条目了。

问题

然而目前的书签收藏流程中，依然会存在一些问题。

书签指向的 URL 可能不再存在（例如某个博客的主人决定不再续费域名，或者是做了链接格式的调整），导致成为悬空的死链接
目前的记录项只有书签的 URL、标题和可选的标签（而且我打标签的习惯不太好，光靠标签基本上不太能找到），导致查找的时候如果对关键词记忆不清楚，很有可能找不到
书签里一大部分是长文章，时间一久很有可能忘记内容，如果只是临时找些东西，通读一次又略微有些费时费事，导致查找&引用效率下降。

解决

为了解决这些问题，我建立了一个新的存储库 bookmark-summary。这个存储库可以视为现有书签存储库的辅助数据，其中包含了新增书签的 Markdown 格式全文、列表摘要、一句话总结，和现有存储库之间通过 Github Actions 联动。其工作原理如下：

我通过书签插件，在现有的书签存储库中新增了一个条目
代码提交到主干，触发名为 summarize 的 Github Actions（yml 工作流文件）
Github Actions 执行，首先 checkout 书签存储库和摘要存储库，然后执行 process_changes.py
1. 首先解析书签 README.md 文件，找到最近新增的条目标题和 URL
2. 将 URL 保存到 Wayback Machine
3. 输入 URL，使用 jina reader API 获取网址的 Markdown 全文，并保存到 YYYYMM/{title}_raw.md
4. 输入 URL，使用 LLM 生成列表摘要（prompt 在 summarize_text 函数 link）
5. 输入列表摘要，使用 LLM 生成一句话总结
6. 将列表摘要和一句话总结保存到 YYYYMM/{title}.md（效果示例）
7. 更新摘要存储库的 README.md，增加到摘要文件的链接
Github Actions 提交变更到摘要存储库

这里的主要代码基本都是 Claude 和 GPT4o 写的，人肉做了一些小调整。后面随着使用又逐步发现了一些 bug，最近还用 o1-mini 修复了一个，算是真切感受到了 LLM 对生产力的巨大提升。目前摘要生成用的是深度求索的 deepseek-chat，便宜是真便宜（输入 1元/1M token，输出 2元/1M token，在这个场景下的成本基本上是每个月1元不到），效果也还算可以。

未来

最后是一些已知问题，以及未来可能的优化方向。当然和其他所有项目一样，欢迎 fork & PR。

列表摘要质量：可能是 prompt 的问题，列表摘要倾向于每个大点下面只列两个小点，且没有充分合并需要合并的论点；可能需要考虑进一步优化 prompt，或者换用其他模型（不过我拿便宜的模型都试了一轮，基本上都存在类似问题）
数据结构化：目前摘要存储库下有个简单的 data.json，但是核心的摘要和全文内容依然是 Markdown 存储的，而不是 JSON 这类程序友好的结构化存储。可能需要考虑在 Markdown 之外另外维护一个 JSON，以备未来的查询。
代码整理和重构：目前所有逻辑都混在一个大的 Python 文件里，修改和测试起来都很烦人（实际上没有特别好的办法手动测试，目前都得靠手动注释掉部分代码）。未来一个考虑是做重构（o1-mini也给出过比较好的重构结构）+补充测试；另一个是改进书签存储库和摘要存储库的交互方式，例如通过读 git log 或者是明确传递最近书签条目的方式来触发摘要生成，而不是靠目前读文件对比的方式
向量搜索：目前虽然原文和摘要都存下来了，搜索却还是只能靠基本的文本匹配；可能可以考虑接个 embedding 模型自动生成下嵌入，存到一个 SQLite 数据库（或者用各种向量数据库 as a Service）；主要是查询的时候也得生成 embedding，英文还有小模型可以搞，中文的模型都太大了，没法直接在前端跑不依赖后端服务，这里还得再仔细想想。
自动生成每周周报：既然现在书签有时间信息，可以考虑每周新增的书签+原文+摘要全部往 LLM 扔，自动生成一个每周摘要，放在 Github Release 里（不过不知道有没有人愿意看就是了） (已完成，参见 Releases，实现见 build_weekly_release.py，代码主要由 o1-mini 实现)
改用更现代的工具链：例如 uv，以及把依赖写在 Python 代码头部（PEP 723 Inline Script Metadata）？

我也想要

可以参考以下步骤，在自己的 Github 账户下部署一套类似的系统。（根据回忆写的，所以可能不太详尽）

参考 osmos::memo 的指引，初始化书签存储库（我的叫做 bookmark-collection），安装浏览器插件，并连接到 Github
新建一个摘要存储库（我的叫做 bookmark-summary），并在其中添加一个空的 README.md 文件
将 process_changes.py 添加到摘要存储库，用实际的存储库名修改 BOOKMARK_COLLECTION_REPO_NAME 和 BOOKMARK_SUMMARY_REPO_NAME；如果需要的话，可以调整 summarize_text 和 one_sentence_summary 中的 prompt
回到书签存储库，将 bookmark_summary.yml 添加到 .github/workflows/bookmark_summary.yml，用 Github账号/书签存储库名 替换 22 行 jerrylususu/bookmark-collection，用 Github账号/摘要存储库名 替换 27 行 jerrylususu/bookmark-summary
新建一个 PAT（Personal Access Token）
- 入口：Github 主页 - 右上角 Settings - 左侧列表底部 Developer Settings - 左侧列表 Personal Access Token / Fine-grained Tokens - 右侧 Generate New Token - 验证密码
- Token Name: 随便写
- Expiration：可以长一些，但是不能超过 1 年
- Repository access：选 Only select repositories，然后在下面选中自己的摘要存储库
- Permissions：点开 Repository Permissions，找到 Contents，选择 Read and write；其他不用动
- 点击底部 Generate Token；Token 只会显示一次，复制下来保存好
回到书签存储库，添加密钥到环境变量
- 入口：书签存储库 - 顶部 Settings - 左侧 Secrets & Variables / Actions - Repository secrets - New Repository Secret
- 需要添加 4 个（其实有的可以放在 Environments 里，不过这里我为了方便先全放到 Secrets 里了）；冒号前面的是名字，冒号后面的是内容
1. PAT ：第 5 步生成的 token
2. OPENAI_API_MODEL ：模型名，如 gpt-4o-mini；如果像我一样用 deepseek 则填写 deepseek-chat
3. OPENAI_API_KEY ： API key，通常以 sk- 开头
4. OPENAI_API_ENDPOINT ：模型 API 地址，留空默认用 OpenAI 官方；可以填中转站；用 deepseek 则填写 https://api.deepseek.com/chat/completions
至此应该配置完成了。可以用 osmos::memo 扩展添加一个书签试试，观察书签存储库中工作流是否正常运行，摘要存储库中是否生成了对应的摘要。

勘误

感谢评论区 a1032077316 指出「我也想要一节」中的部分步骤错误，已经在文中修复

2024 年了，我最近在用什么工具

Sun, 21 Jul 2024 21:53:00 +0800

2024 年了，我最近在用什么工具

去年年中，公司的主力开发设备从 Windows 换成了 Mac，之前在 Windows 上用的各类工具需要重新在 Mac 上找对应的替代品。一年磨合下来现在已经差不多稳定了，特此记录（其实之前就应该记录的，但是太懒）。如果能帮助到各位读者就更好了。当然也欢迎评论推荐更多你认为好用的工具。

独立工具

（此处的独立指的是软件本身可以独立运行，与之相对的是插件）

VS Code：宇宙 IDE（装了足够多插件之后）
Kate：KDE 家的文本编辑器，功能齐全但是又没有 VS Code 那么重，临时处理些文本比较方便；之前不支持 M 系列处理器，2024 年初更新后总算支持了
CudaText：用来当作思维 buffer，优点是自带置顶（其他软件都很难做到）和自动保存，目前已经开了 100+ Untitled Tab 了但是依然很稳定
Apple Notes：用来记录手头临时的待办事项，避免消息太多跟丢
Obsidian：用来做工作笔记，其实就是对每个任务建一个文件，然后把所有相关信息全部丢进去；偶尔也用用 canvas 功能
Utools：小工具聚合器，例如 JSON 格式化、二维码生成、base64编解码、timestamp 生成和解析、变量名大小写转换；绑定到 Opt+Space
RayCast：主要用来窗口切换和左右分屏，其他的功能用的不多；绑定到 Alt+Space
Snipaste：截图 & 贴图是我工作流的重要部分，已经完全离不开了
Karabiner-Elements：之前从 Windows 切换过来的时候用于改键（左 Ctrl -> 左 Cmd）；现在键位熟悉之后用的不多了
Hidden Bar：隐藏托盘区域的图标（这居然不是 OS 自带的功能？Windows 用户理解不能）
Maccy：剪贴板历史（救了我好几次）
Stats：用来显示内存占用（可能和我的用法相关，虽然已经是 32G 内存的配置了，但是使用超过一周依然会有内存泄漏，内存压力红了之后只能重启）
UnnaturalScrollWheels：修复外接鼠标滚动方向相反的问题（我觉得这也应该是个 OS 级别功能）
Draw.io：画各种图
EasyFind：Windows 文件搜索工具 Everything 的 MacOS 下位替代，但是总比没有强
Timer：倒计时小工具，拟物风很棒；用来提醒我该在发布单上点击下一步了
MacZip：用了这么久 Mac 还是不能适应双击压缩文件自动解压的逻辑，还是能先预览下压缩包内容比较好
Insomnium：类 Postman 工具，但不用登录在线账户，local-first；虽然已经停止开发，但是功能已经足够齐全了
ActivityWatch：记录下今天上了多少班
Chatbox：最好用的 OpenAI API 客户端，支持刷新上下文、显示 token 用量、消息修改、消息重放（btw 自认为目前用下来综合表现最强的 LLM 是 deepseek-coder，便宜大碗也足够智能）

Obsidian 插件

Electron Window Tweaker：让 Obsidian 窗口也能够置顶
Git：自动把变更提交到 Git 库，避免数据丢失（我设置的是 10 分钟一次）；另外偶尔看看 blame 还有成就感（原来这个文件已经被我改了这么多次了）
Tasks：将所有文件里的任务收集起来，创建统一的任务视图
Vertical Tabs View：标签页太多的时候，可以用纵向列表列出所有标签页（也和我 Edge 的使用习惯一致）
[New Tab +]：避免同一个文件被打开在多个 tab 中
Another Quick Switcher：解决 Quick Switch 时，默认搜索结果是按照文件名排序而不是最近修改时间排序的问题
Unique Note Creator：官方插件，可以直接创建一个带有时间戳的笔记并应用模板；用来在出现新工作时创建对应的工作笔记

（顺带一提，为了和 VS Code 使用习惯一致，Quick Swtich 绑定到 Cmd+R，command palette 绑定到 Cmd+Shift+P）

浏览器插件

（目前用的是 Edge，纵向标签页没有其他浏览器支持）

沉浸式翻译：外文长文必备
ModHeader：调试用，主要拿来改 request header
Inssman：调试用，主要拿来该 request body（其他的相关插件，例如 Requestly 似乎都要求登录）
Earth View From Google Earth：在新标签页展示航拍景象，换换心情
Page Notes：可以保存和某个域名/ URL 相关的笔记；我自己的用法主要是在日志查询页上放一些常见的查询条件，省的来回翻找
Picture-in-Picture Extension (by Google)：画中画插件，<video> tag 的视频都能用，摸鱼必备
Session Buddy：定时备份打开的标签页，对我这种日常 100+ tab 的用户很友好
VerticalTabs：在 tab 之前切换（但后来发现 Cmd+Shift+A 更好用）；现在只是用来显示打开 tab 的个数，超过 150 了就得关一批
TamperMonkey：针对内部不好用的网站，写了很多 JS 小脚本来改善用户体验

还有些小工具网站：

JupyterLite：一个基于 WebAssembly 在浏览器内运行 Python 和 Jupyter 的环境，临时写点东西或者调试都很方便
Day Tracker：之前自己写的小工具，看今天还要上多久班

VS Code 插件

Bookmarks：可以给特定的代码行加书签；大代码库或者是逻辑拆的太碎的时候需要
Error Lens：行内显示报错信息，不需要手动在波浪线上 hover 也能看到
Todo Highlight：将所有 TODO 高亮出来
GitLens：和 VS Code 自己的 Git 能力配合使用，就再也用不上其他的 Git GUI 了；行内 Git Blame （浅色文字显示这一行上次的修改来源）和 File History （和该文件相关的所有 commit）很有用
Live Server：改 HTML 的时候可以临时起个服务器，文件修改后自动刷新
Git Graph：GitLens 的分支图是收费功能，可以用这个插件替代
indent-rainbow：缩进可视化
Stats Bar：显示机器状态（CPU/内存/网络）；主要用来看云开发机的内存是否又爆炸了
Template String Converter：写 TypeScript 必备，输入$且时自动把当前字符串变量的 " （一般字符串）换成 `（模板字符串）

分布式系统课程笔记

Sun, 12 Dec 2021 20:47:32 +0300

这学期选了一门分布式系统的课程，实际上内容大概是 MIT 的分布式系统（6.824）和普林斯顿的分布式系统（COS 418）课程的混合。大概覆盖了以下内容：

分布式系统基础：RPC 和消息语义，逻辑时钟，分布式快照，一致性模型, CAP/FLP 理论
最终一致性系统：Bayou, DHT, Dynamo
共识和状态机复制：Primary-backup, Viewstamped Replication, Paxos, Raft, P-BFT
分布式事务与强一致性：2PC, 2PL, Spanner

回想之前大一大二断断续续上的一些分布式相关的课程，有些东西果然是需要一些经验才会慢慢理解。

课程内容之外，作业基本上也是从 MIT 的作业改的，分别是实现以下系统：

MapReduce (Sequential / Distributed)
Raft (Election, Log Replication, Fault Tolerance)
K-V Storage based on Raft (KV-Raft)

其中可能比较值得一提的是后两项作业，因为算是自己可能从来不会主动去写的类型，一想到可能的巨大复杂度就打退堂鼓了。不过实际上因为配套的测试比较完备，最后写起来其实也就是一个 case 一个 case 过，并没有想象中的那么困难。（不过从日志 debug 的确容易烦躁就是了。）最后实际上 Raft 和 KVRaft 都是在两天内写完的，不过的确是全神贯注的两天了。

尝试着把自己的（中文）笔记整理了一下，放在下面的链接。不过课件还是要点回课程网站手动获取，我并没有 redistribute 的权限。如有错漏，欢迎指出。 All distributed system lectures

总而言之，上完这门课并且写完作业，稍微算是对自己实现复杂系统的能力更有一些些信心了吧。

Utils.ahk

Sun, 18 Aug 2019 13:55:00 +0800

各种奇奇怪怪的小功能的集合… 大部分都是从其他的 AutoHotKey 开发者那里抄过来的…

GitHub Gist

快速启动

Win+N 记事本
Win+C cmd
- cmd下Ctrl+V直接复制
Win+Alt+O explorer
- Win+Alt+K kill掉explorer (被注释禁用了需要自己手动开启 line 221-228)

窗口透明度

来源：https://autohotkey.com/board/topic/148619-set-window-always-on-top-and-change-transparency/

Alt+E 获取需要调整透明度的窗口
Alt+W 增加透明度
Alt+Q 减少透明度

记事本相关

Alt+Shift+S 把所有无标题的记事本内容复制到一个新的记事本示例
Alt+Shift+D 关闭所有无标题的记事本

窗口调整

来源：http://blog.sachleen.com/posts/1370369043/snapping-windows-vertically-on-portrait-display/

Alt+T 当前窗口置顶
Win+Alt+↑ 窗口占据上半屏幕
Win+Alt+↓ 窗口占据下班屏幕
Win+Ctrl+Alt+↑ 窗口占据上1/4屏幕
Win+Ctrl+Alt+↓ 窗口占据下1/4屏幕

我最近在用什么软件？

Mon, 12 Aug 2019 23:11:00 +0800

看看时间，从换电脑到现在已经3个月了，装的软件也在不知不觉间越来越多。此文用于推荐一些我觉得不错的软件，顺带也是作为备忘。有的软件没有被我列出，可能并不是因为我觉得它们不够优秀，而是我认为他们已经很知名了，不需要我再单独发文推广。

Featured ✨

Stickies

Sticky Notes++。初见只以为和其他的简单便利贴软件一样，但是用起来却发现越用越离不开了：Stack, Solo, 富文本支持, 自带 to do 转换… 当然，最重要的是数据安全，以及启动速度比 Windows 自带的便笺快太多了。自从用了 Stickies，我打开的 Notepad 窗口大幅减少了。

为了解决移除外接屏幕后便利贴无法访问的问题，甚至自带 Rescue Off-screen 功能。

注：此前苦于 Windows 下没有合适的速记类应用，我用 Notepad 和自己写的 AHK 插件作为解决方案。按下 Win+N 即可召唤出新的 Notepad 窗口，再按下 Alt+N 即可置顶，从而实现简单的速记效果。当然，长期使用后会导致 Notepad 窗口数暴增，且不便于保存和整理，在系统崩溃时也有数据安全之虞。

Snipaste

Snip 截图，Paste 贴图。描述看起来简单，用起来却格外使用，能够在狭小的电脑屏幕上模拟出在桌上工作时随意放置各种参考资料的快感。

Utools

Windows 版本的 Spotlight，一经发现就占据了我的 Alt+Space。在发现它之前，我用 Windows 自带的搜索，但是总是困扰于索引速度和作为干扰的网页搜索。有了 utools 之后总算是情景了。顺带还有插件支持。

MobaXTerm

作为 term 类应用，自然少不了连接远程服务器的功能，但 MobaXTerm 能做的却还有很多：文件传输、服务器性能监控、一键分屏、X11 映射、自带关键词高亮… 最重要的，是 Home 用途免费！

v12 在我的环境下表现不佳，偶有崩溃。v11 似乎更稳定一些。

GridMove

简单的分屏应用，但是支持复杂的自定义布局。尤其适合那种一边看书/教程/论文，一边做笔记的场合。当然，你也可以随意修改配置文件，让它融入你的工作流。支持多屏。

Listed 📜

Hourglass: 有自然语言支持的倒计时器。用来提醒我去取洗/烘干了的衣服。
Listen1: 一个软件听全网歌曲，不用担心版权孤岛。（网易云音乐也有类似插件，可用网易云音乐作为前端）
WinDynamicDesktop: 定时更换 Windows 壁纸，实现伪 Dynamic Desktop 效果
Draw.io: 画流程图/结构图/各种图的唯一指定软件，Visio 的强大开源替代品。
NoteHighlight: Onenote 桌面版本插件，用来给笔记中的代码做代码高亮。
MiKTex: 更现代的 Latex 解决方案，支持按需安装 package，至少比 TeX Live 小多了。
Icecream PDF Editor: 免费的 PDF 编辑工具，Adobe 家对应工具的实用替代。
ScreenToGif: Gif 录制工具，轻量好用。
LockHunter: 专治文件被占用，无法删除，界面比 Unlocker 更好看，且能指出占用进程。
弹弹 Play: 带弹幕的播放器。支持抓取在线视频站弹幕，也可从中心服务器为离线视频加弹幕。
PDF-XChange Viewer: 带强大标注功能和需多实用工具的 PDF 查看器。启动比 Adobe Reader 快太多了。
hfs: 当你需要一个临时的，支持上传下载的 HTTP 文件服务器时…
PanDownload: 百度网盘下载加速。
Video Speed Controller: (浏览器插件) 快速跳过视频废话，顺带可以练习英语听力？

Why?

常常有人问我：「装这么多软件用得着吗？」、「为什么你的托盘区域有 20+ 图标？」

我的回答是：「因为我希望，当我在处理任务时，身旁总能有趁手的工具。」

Python, Flask, Jinja, SQLite 里的坑

Mon, 14 Aug 2017 00:00:00 +0800

上完 CS50，决定按照课程进度完成最后的 Final Project。于是开发了 Project SFLS ♫，途中遇到了许多坑，记载如下。

400 Bad Request

问题：表单与后台程序不匹配（后台调用了表单里没有的项）坑：手动用不可见文本框传递id，但是误将readOnly设置成了disabled，id读取不能，于是报错。重新改回来即可解决，亦可使用session中转。

Bootstrap 框架不对劲

问题：本来是10-2的排布，但是却变成上面2 下面10 坑：最后发现上面的<table>没有写</table>，造成10继续向下继承。手动修正即可。

SQLite 新建字段出错

问题：建立表后再追加字段，选择NOT NULL属性报错坑：SQLite就是这样设定的。

SQLite 多层 SQL 嵌套

问题：部分请求中一个 SQL 套一个 SQL，难以判断。解决：SQLite 支持视图属性，可用其作为临时表。

SQLite `count(*)` 不能在 Python 中调用

问题：在 Python 中引用 db.execute 出来的 count(*)，总是提示失败坑：似乎*是 Python 中的特殊字符，不能乱用解决：用 as 将count(*)改写为 c 即可。

SQLAlchemy 获取出来的是 Proxy 对象，不能判断存在

解决：用自带的 .scalar() 方法，在不存在时能返回None。

SQLAlchemy 获取出的 Proxy 对象，其中的值难以操作

坑：试图对lang进行转换，但是提示 Proxy对象不可用。解决：用 CS50 函数库中中的 SQL解决，本质上就是对 SQLAlchemy 的二次封装，获取出来的直接就是dict格式，更好用了。

SQL 返回单条结果，读取信息报错

坑：虽然返回的是单条结果，但是还是要用for elem in dict处理得到真正的单条数据。

Validator.js 字段匹配总是出错

坑：#指定的是id而不是name，要再设定一次id

Python 3 编码报错

坑：代码中有中文，提示not an ASCII character 解决：文件头加上#coding UTF-8

Excel 导出的 CSV 无法在 SQLite 上导入

坑：Excel 导出 CSV 的默认文件编码是 ASCI 解决：用记事本打开，另存为 UTF-8

Flask 的消息闪现不显示

解决：检查 layout.html 中页面逻辑，先用with获取，再用for得到具体的闪现消息。

页面多次重载结果不同

解决：清空 gunicorn 缓存，重启服务器。

Jinja 2 渲染出的文本框露出下一参数

解决：看看引号是否完全加上了

Python 提示变量定义前使用

解决：global

分享 on Nekonull's Garden

LLM x 书签收藏：摘要 & 全文索引

背景

问题

解决

未来

我也想要

勘误

2024 年了，我最近在用什么工具

2024 年了，我最近在用什么工具

独立工具

Obsidian 插件

浏览器插件

VS Code 插件

分布式系统课程笔记

Utils.ahk

快速启动

窗口透明度

记事本相关

窗口调整

我最近在用什么软件？

Featured ✨

Stickies

Snipaste

Utools

MobaXTerm

GridMove

Listed 📜

Why?

Python, Flask, Jinja, SQLite 里的坑

400 Bad Request

Bootstrap 框架不对劲

SQLite 新建字段出错

SQLite 多层 SQL 嵌套

SQLite count(*) 不能在 Python 中调用

SQLAlchemy 获取出来的是 Proxy 对象，不能判断存在

SQLAlchemy 获取出的 Proxy 对象，其中的值难以操作

SQL 返回单条结果，读取信息报错

Validator.js 字段匹配总是出错

Python 3 编码报错

Excel 导出的 CSV 无法在 SQLite 上导入

Flask 的消息闪现不显示

页面多次重载结果不同

Jinja 2 渲染出的文本框露出下一参数

Python 提示变量定义前使用

SQLite `count(*)` 不能在 Python 中调用