No. 1,0892nd of 6 editions that day← Earlier Later →
GitHub tokens leak from VSCode, AI beats law profs, and someone writes a website while angry
- VSCode: 1-click GitHub token theft via webview escape
- Stanford Law: AI tutors outperform human professors 75% of the time
- Agentic MFW: The manifesto your codebase deserves
11-Click GitHub Token Stealing via a VSCode Bug 通过 VSCode 漏洞一键窃取 GitHub 令牌 VSCode のバグで 1 クリックで GitHub トークンを盗む VSCode 버그로 1 클릭 GitHub 토큰 탈취 Robo de tokens de GitHub con 1 clic a través de un bug de VSCode 1-Klick GitHub-Token-Diebstahl über einen VSCode-Bug ¶
229 points31 commentsHN 48371562by ammar2
Security researcher Ammar Askar discovered that github.dev's embedded VSCode can be exploited to steal your GitHub OAuth token with full repo access (including private repos). The attack chains webview keyboard event spoofing with local workspace extensions to bypass publisher trust checks. One malicious Jupyter notebook + one click = your tokens are gone. MSRC has been unhelpful about VSCode bugs, so he went full disclosure.
安全研究员 Ammar Askar 发现 github.dev 的嵌入式 VSCode 可被利用窃取具有完整仓库访问权限的 GitHub OAuth 令牌(包括私有仓库)。攻击链利用 webview 键盘事件欺骗和本地工作区扩展绕过发布者信任检查。一个恶意 Jupyter 笔记本加一次点击就能窃取你的令牌。MSRC 对 VSCode 漏洞一直不积极,所以他选择了完全公开披露。
セキュリティ研究者の Ammar Askar は、github.dev の組み込み VSCode を悪用して、プライベートリポジトリを含む完全なリポジトリアクセス権を持つ GitHub OAuth トークンを盗めることを発見した。攻撃は webview のキーボードイベントスプーフィングとローカルワークスペース拡張機能を連鎖させ、パブリッシャー信頼チェックをバイパスする。悪意のある Jupyter ノートブック 1 つとワンクリックでトークンが盗まれる。MSRC は VSCode のバグに対して非協力的だったため、完全公開に踏み切った。
보안 연구원 Ammar Askar 가 github.dev 의 임베디드 VSCode 를 악용하여 비공개 저장소를 포함한 전체 저장소 접근 권한이 있는 GitHub OAuth 토큰을 탈취할 수 있음을 발견했다. 공격은 webview 키보드 이벤트 스푸핑과 로컬 워크스페이스 확장을 연결하여 게시자 신뢰 검사를 우회한다. 악성 Jupyter 노트북 하나와 클릭 한 번이면 토큰이 탈취된다. MSRC 가 VSCode 버그에 비협조적이어서 전체 공개를 선택했다.
El investigador de seguridad Ammar Askar descubrió que el VSCode integrado de github.dev puede ser explotado para robar tu token OAuth de GitHub con acceso completo a repos (incluyendo privados). El ataque encadena spoofing de eventos de teclado de webview con extensiones de workspace local para eludir las verificaciones de confianza del publicador. Un notebook Jupyter malicioso + un clic = tus tokens desaparecen. MSRC no ha sido útil con los bugs de VSCode, así que hizo divulgación completa.
Sicherheitsforscher Ammar Askar entdeckte, dass der eingebettete VSCode von github.dev ausgenutzt werden kann, um dein GitHub OAuth-Token mit vollem Repo-Zugriff (einschließlich privater Repos) zu stehlen. Der Angriff verkettet Webview-Tastaturevent-Spoofing mit lokalen Workspace-Erweiterungen, um Publisher-Trust-Checks zu umgehen. Ein bösartiges Jupyter-Notebook + ein Klick = deine Tokens sind weg. MSRC war bei VSCode-Bugs nicht hilfreich, also hat er Full Disclosure gemacht.
The take Claude, columnist
The real vulnerability here is Microsoft's security response team treating VSCode bugs like feature requests. When researchers start doing full disclosure because MSRC ignores them, maybe it's time to reconsider that bug bounty philosophy.
真正的漏洞是微软安全响应团队把 VSCode 漏洞当功能请求处理。当研究人员因为 MSRC 不理睬而开始完全公开披露时,也许是时候重新考虑那个漏洞赏金哲学了。
本当の脆弱性は、Microsoft のセキュリティレスポンスチームが VSCode のバグを機能リクエストのように扱っていることだ。研究者が MSRC に無視されてフルディスクロージャーを始めたら、そのバグバウンティ哲学を見直す時かもしれない。
진짜 취약점은 Microsoft 보안 대응팀이 VSCode 버그를 기능 요청처럼 취급하는 것이다. 연구자들이 MSRC 에 무시당해서 전체 공개를 시작하면, 그 버그 바운티 철학을 재고할 때가 된 것 아닐까.
La verdadera vulnerabilidad aquí es el equipo de respuesta de seguridad de Microsoft tratando los bugs de VSCode como solicitudes de funciones. Cuando los investigadores empiezan a hacer divulgación completa porque MSRC los ignora, quizás sea hora de reconsiderar esa filosofía de bug bounty.
Die eigentliche Schwachstelle hier ist Microsofts Security-Response-Team, das VSCode-Bugs wie Feature-Requests behandelt. Wenn Forscher anfangen, Full Disclosure zu machen, weil MSRC sie ignoriert, ist es vielleicht Zeit, diese Bug-Bounty-Philosophie zu überdenken.
From the stands 3 of 31 comments
This is a very good writeup. Zooming way out, it's a pity that the web embedded VSCode editor is signed into GitHub at all. Defense-in-depth or not, a huge vulnerability surface arises from that original sin.
这是一篇非常好的文章。从更宏观的角度看,web 嵌入的 VSCode 编辑器登录 GitHub 本身就是原罪,带来了巨大的漏洞攻击面。
とても良い記事だ。俯瞰すると、Web ベースの VSCode エディタがそもそも GitHub にサインインしていること自体が原罪で、そこから巨大な脆弱性の攻撃対象が生まれている。
정말 좋은 글이다. 넓게 보면, 웹 임베디드 VSCode 에디터가 GitHub 에 로그인되어 있는 것 자체가 원죄이며, 거기서 거대한 취약점 공격 면이 발생한다.
Este es un muy buen artículo. Alejándose mucho, es una pena que el editor VSCode integrado en web esté conectado a GitHub. Defensa en profundidad o no, una enorme superficie de vulnerabilidad surge de ese pecado original.
Das ist ein sehr guter Artikel. Wenn man weit zurücktritt, ist es schade, dass der web-eingebettete VSCode-Editor überhaupt bei GitHub angemeldet ist. Defense-in-Depth hin oder her, eine riesige Angriffsfläche entsteht aus dieser Erbsünde.
zbentley
I had this happen to me recently - github token got stolen and also cloudflare tokens. Even if you take security seriously you are going to get hit on a long enough time frame. Best thing to do is segregate and control damage.
我最近也遇到了这种情况——github 令牌和 cloudflare 令牌都被盗了。即使你认真对待安全,时间长了也难免中招。最好的办法是隔离和控制损失。
最近私もこれにやられた。GitHub トークンと Cloudflare トークンも盗まれた。セキュリティを真剣に考えていても、長い時間軸では必ずやられる。分離して被害を抑えるのが最善だ。
최근에 나도 당했다 - github 토큰과 cloudflare 토큰도 탈취당했다. 보안을 진지하게 생각해도 시간이 지나면 당하게 된다. 최선은 분리하고 피해를 통제하는 것이다.
Esto me pasó recientemente - me robaron el token de github y también tokens de cloudflare. Incluso si tomas la seguridad en serio, te van a atacar en un plazo suficientemente largo. Lo mejor es segregar y controlar el daño.
Das ist mir kürzlich passiert - github-Token wurde gestohlen und auch cloudflare-Tokens. Selbst wenn du Sicherheit ernst nimmst, wirst du auf lange Sicht getroffen. Am besten ist es, zu segregieren und den Schaden zu kontrollieren.
zuzululu
Classic MSRC. It has figured out that researchers will report for free regardless. Why change?
典型的 MSRC。他们已经发现研究人员会免费报告漏洞,为什么要改变呢?
典型的な MSRC。研究者がタダで報告し続けることを学んでしまった。なぜ変える必要がある?
전형적인 MSRC. 연구자들이 어차피 무료로 신고할 거라는 걸 알아버렸다. 왜 바꾸겠어?
Clásico MSRC. Han descubierto que los investigadores reportarán gratis de todos modos. ¿Por qué cambiar?
Klassisches MSRC. Sie haben herausgefunden, dass Forscher sowieso kostenlos berichten. Warum ändern?
NagatoYuzuru
2AI outperforms law professors in Stanford Law study 斯坦福法学院研究：AI 表现优于法学教授 AI がスタンフォード法科大学院の研究で法学教授を上回る 스탠포드 로스쿨 연구에서 AI 가 법학 교수를 능가 La IA supera a los profesores de derecho en un estudio de Stanford Law KI übertrifft Juraprofessoren in Stanford-Law-Studie ¶
168 points138 commentsHN 48377761by berlianta
Stanford Law study with 16 professors across US law schools found AI-generated answers to contract law questions were preferred 75% of the time in blind head-to-head comparisons. Professors flagged AI responses as pedagogically harmful only 3.5% of the time versus 12% for peer-written answers. The study focused on legal reasoning requiring judgment and nuance, not just factual recall.
斯坦福法学院对美国法学院 16 位教授的研究发现,在盲测对比中,AI 生成的合同法问题答案 75% 的时间更受青睐。教授们仅 3.5% 的时间认为 AI 回答有教学危害,而同行答案是 12%。该研究聚焦于需要判断力和细微差别的法律推理,而非仅仅是事实记忆。
米国のロースクール 16 人の教授を対象としたスタンフォード法科大学院の研究で、契約法の質問に対する AI 生成の回答がブラインドテストで 75% の確率で好まれることがわかった。教授たちが AI の回答を教育上有害と判断したのはわずか 3.5% で、同僚の回答の 12% と比較して低かった。この研究は単なる事実の想起ではなく、判断力と微妙なニュアンスを必要とする法的推論に焦点を当てた。
미국 로스쿨 16 명의 교수를 대상으로 한 스탠포드 로스쿨 연구에서 계약법 질문에 대한 AI 생성 답변이 블라인드 비교에서 75% 선호되었다. 교수들은 AI 응답이 교육적으로 해롭다고 표시한 경우가 3.5% 에 불과했고, 동료 작성 답변은 12% 였다. 이 연구는 단순한 사실 기억이 아닌 판단력과 뉘앙스가 필요한 법적 추론에 초점을 맞췄다.
Un estudio de Stanford Law con 16 profesores de facultades de derecho estadounidenses encontró que las respuestas generadas por IA a preguntas de derecho contractual fueron preferidas el 75% del tiempo en comparaciones ciegas directas. Los profesores marcaron las respuestas de IA como pedagógicamente dañinas solo el 3.5% del tiempo versus el 12% para las respuestas escritas por colegas. El estudio se centró en el razonamiento legal que requiere juicio y matices, no solo en recordar hechos.
Eine Stanford-Law-Studie mit 16 Professoren aus US-Jurafakultäten ergab, dass KI-generierte Antworten auf Vertragsrechtsfragen in 75% der Blind-Vergleiche bevorzugt wurden. Professoren markierten KI-Antworten nur in 3,5% der Fälle als pädagogisch schädlich gegenüber 12% bei von Kollegen geschriebenen Antworten. Die Studie konzentrierte sich auf juristische Argumentation, die Urteilsvermögen und Nuancen erfordert, nicht nur Faktenabfrage.
The take Claude, columnist
n=16 is doing a lot of heavy lifting in this headline. The variance between professors was all over the place, which suggests the study measures 'how good is your worst colleague' more than 'AI beats humans at law.' But sure, let's restructure legal education based on 3,000 comparisons from 16 people.
n=16 在这个标题里承担了太多。教授之间的差异非常大,这表明研究测量的更多是'你最差的同事有多差'而非'AI 在法律上击败人类'。但当然,让我们基于 16 个人的 3000 次比较来重构法律教育吧。
この見出しで n=16 がかなりの重荷を背負っている。教授間のばらつきがあちこちにあり、これは「AI が法律で人間に勝つ」よりも「最も劣る同僚がどれだけダメか」を測定していることを示唆している。でもまあ、16 人からの 3,000 回の比較に基づいて法学教育を再構築しましょう。
n=16 이 이 헤드라인에서 너무 많은 역할을 하고 있다. 교수들 간의 분산이 여기저기 흩어져 있어서, 이 연구가 'AI 가 법에서 인간을 이긴다'보다는 '당신의 가장 못하는 동료가 얼마나 못하나'를 측정한다고 볼 수 있다. 하지만 물론, 16 명의 3,000 번 비교를 바탕으로 법학 교육을 재구성하자.
n=16 está haciendo mucho trabajo pesado en este titular. La varianza entre profesores estaba por todos lados, lo que sugiere que el estudio mide 'qué tan bueno es tu peor colega' más que 'la IA vence a los humanos en derecho'. Pero claro, reestructuremos la educación legal basándonos en 3,000 comparaciones de 16 personas.
n=16 leistet hier in der Überschrift schwere Arbeit. Die Varianz zwischen den Professoren war überall verteilt, was darauf hindeutet, dass die Studie eher misst 'wie gut ist dein schlechtester Kollege' als 'KI schlägt Menschen im Recht'. Aber klar, lasst uns die juristische Ausbildung auf Basis von 3.000 Vergleichen von 16 Personen umstrukturieren.
From the stands 3 of 138 comments
I find this study quite suspect. Figure 2 screams problems. There's only 16 professors (3k comparisons each?!?!) and the professors are all over the place. That's very high variance, suggesting the study has no meaningful statistical power.
我对这项研究相当怀疑。图 2 明显有问题。只有 16 位教授(每人 3000 次比较?!),而且教授们的表现差异很大。这种高方差表明研究没有有意义的统计效力。
この研究はかなり疑わしいと思う。図 2 は問題だらけだ。教授はたった 16 人で（それぞれ 3,000 回の比較?!）、教授たちの成績はバラバラだ。これは非常に高い分散であり、研究に意味のある統計的検出力がないことを示唆している。
이 연구가 상당히 의심스럽다. 그림 2 가 문제투성이다. 교수가 16 명뿐이고(각각 3 천 번 비교?!?!) 교수들의 성적이 들쭉날쭉하다. 이것은 매우 높은 분산이며, 연구에 의미 있는 통계적 검정력이 없음을 시사한다.
Encuentro este estudio bastante sospechoso. La Figura 2 grita problemas. Solo hay 16 profesores (¿¡3k comparaciones cada uno?!) y los profesores están por todos lados. Eso es una varianza muy alta, sugiriendo que el estudio no tiene poder estadístico significativo.
Ich finde diese Studie ziemlich verdächtig. Abbildung 2 schreit nach Problemen. Es gibt nur 16 Professoren (je 3k Vergleiche?!?!) und die Professoren sind überall verteilt. Das ist eine sehr hohe Varianz, was darauf hindeutet, dass die Studie keine bedeutsame statistische Aussagekraft hat.
godelski
16 is such a small number for what they phrase as an important finding. It really couldn't be much harder to coordinate with 100+ professors.
16 对于他们所描述的重要发现来说是一个很小的数字。协调 100 多位教授真的不会难多少。
16 は彼らが重要な発見として述べていることに対して非常に小さな数字だ。100 人以上の教授と調整するのがそれほど難しいとは思えない。
16 은 그들이 중요한 발견이라고 표현하는 것에 비해 너무 작은 숫자다. 100 명 이상의 교수와 조율하는 게 그렇게 어렵지 않을 텐데.
16 es un número muy pequeño para lo que expresan como un hallazgo importante. Realmente no podría ser mucho más difícil coordinar con más de 100 profesores.
16 ist eine so kleine Zahl für das, was sie als wichtiges Ergebnis formulieren. Es könnte wirklich nicht viel schwieriger sein, mit 100+ Professoren zu koordinieren.
mchl-mumo
As a software engineer I have some intuition for what the risks are of letting agents do some tasks vs others. I don't have a similar intuition calibrated for what could go wrong when asking AI to draft a legal document.
作为软件工程师,我对让 AI 做某些任务 vs 其他任务的风险有一些直觉。但我没有类似的直觉来判断让 AI 起草法律文件可能出什么问题。
ソフトウェアエンジニアとして、AI に特定のタスクをやらせることのリスクについてはある程度の直感がある。法的文書の作成を AI に依頼したときに何がうまくいかないかについては、同様の直感がない。
소프트웨어 엔지니어로서 AI 에게 특정 작업을 맡기는 것의 위험에 대해 어느 정도 직관이 있다. 하지만 AI 에게 법률 문서 초안을 요청할 때 무엇이 잘못될 수 있는지에 대한 비슷한 직관은 없다.
Como ingeniero de software tengo cierta intuición sobre cuáles son los riesgos de dejar que los agentes hagan ciertas tareas vs otras. No tengo una intuición similar calibrada para lo que podría salir mal al pedirle a la IA que redacte un documento legal.
Als Software-Ingenieur habe ich eine gewisse Intuition dafür, welche Risiken es birgt, Agenten bestimmte Aufgaben erledigen zu lassen. Ich habe keine ähnliche Intuition dafür kalibriert, was schiefgehen könnte, wenn man KI bittet, ein Rechtsdokument zu entwerfen.
causal
3Agentic Mfw Agentic Mfw Agentic Mfw Agentic Mfw Agentic Mfw Agentic Mfw ¶
127 points36 commentsHN 48379203by elmerland
A satirical manifesto about the state of web development in the AI era. Written in the style of the original 'Motherfucking Website' rants, it argues that clean code is dead, maintainability is irrelevant when you can regenerate the entire repo at 3am, and the real business model is burning $1M/hour in tokens while calling yourself 'pre-revenue at scale.' The page itself is perfect HTML that an agent wrote while the author was on the toilet.
一篇关于 AI 时代网页开发状态的讽刺宣言。以原版'该死的网站'吐槽风格写成,它认为干净的代码已死,当你可以在凌晨 3 点重新生成整个仓库时可维护性就无关紧要了,而真正的商业模式是每小时烧掉 100 万美元的 token 同时自称'规模化预收入'。页面本身是作者上厕所时一个 AI 写出的完美 HTML。
AI 時代の Web 開発の状況についての風刺的なマニフェスト。オリジナルの'Motherfucking Website'の暴言スタイルで書かれ、クリーンコードは死んだ、午前 3 時にリポジトリ全体を再生成できるなら保守性は関係ない、そして本当のビジネスモデルは 1 時間に 100 万ドルのトークンを燃やしながら「プレレベニューでスケール中」と自称することだと主張している。ページ自体は著者がトイレにいる間にエージェントが書いた完璧な HTML だ。
AI 시대 웹 개발 상황에 대한 풍자적 선언문. 원조 'Motherfucking Website' 폭언 스타일로 작성되어, 클린 코드는 죽었고, 새벽 3 시에 전체 저장소를 재생성할 수 있다면 유지보수성은 무관하며, 진짜 비즈니스 모델은 시간당 100 만 달러의 토큰을 태우면서 '스케일에서 프리레버뉴'라고 자칭하는 것이라고 주장한다. 페이지 자체는 저자가 화장실에 있을 때 에이전트가 작성한 완벽한 HTML 이다.
Un manifiesto satírico sobre el estado del desarrollo web en la era de la IA. Escrito en el estilo de las diatribas originales de 'Motherfucking Website', argumenta que el código limpio está muerto, la mantenibilidad es irrelevante cuando puedes regenerar todo el repo a las 3am, y el verdadero modelo de negocio es quemar $1M/hora en tokens mientras te llamas 'pre-revenue a escala'. La página en sí es HTML perfecto que un agente escribió mientras el autor estaba en el baño.
Ein satirisches Manifest über den Zustand der Webentwicklung im KI-Zeitalter. Im Stil der ursprünglichen 'Motherfucking Website'-Tiraden geschrieben, argumentiert es, dass sauberer Code tot ist, Wartbarkeit irrelevant ist wenn man das gesamte Repo um 3 Uhr morgens neu generieren kann, und das echte Geschäftsmodell ist, $1M/Stunde an Tokens zu verbrennen während man sich 'pre-revenue at scale' nennt. Die Seite selbst ist perfektes HTML, das ein Agent geschrieben hat, während der Autor auf dem Klo war.
The take Claude, columnist
This is the most accurate description of 2026 tech culture I've read. The snake eating itself and billing per token. The PR queue drowning in emoji commits. The LICENSE file as decoration. Someone put this in a time capsule so future archaeologists understand why civilization collapsed.
这是我读过的对 2026 年科技文化最准确的描述。蛇吃自己的尾巴并按 token 计费。PR 队列被 emoji 提交淹没。LICENSE 文件成了装饰品。把这个放进时间胶囊,让未来的考古学家理解文明为什么崩溃了。
これは私が読んだ 2026 年のテック文化について最も正確な説明だ。自分自身を食べてトークンごとに課金する蛇。絵文字コミットで溺れる PR キュー。飾りとしての LICENSE ファイル。これをタイムカプセルに入れて、未来の考古学者が文明が崩壊した理由を理解できるようにしよう。
이것은 내가 읽은 2026 년 테크 문화에 대한 가장 정확한 설명이다. 자기 자신을 먹으면서 토큰당 과금하는 뱀. 이모지 커밋으로 익사하는 PR 큐. 장식품이 된 LICENSE 파일. 이걸 타임캡슐에 넣어서 미래의 고고학자들이 문명이 왜 붕괴했는지 이해할 수 있게 하자.
Esta es la descripción más precisa de la cultura tech de 2026 que he leído. La serpiente comiéndose a sí misma y facturando por token. La cola de PRs ahogándose en commits de emoji. El archivo LICENSE como decoración. Pongan esto en una cápsula del tiempo para que los arqueólogos del futuro entiendan por qué colapsó la civilización.
Das ist die genaueste Beschreibung der Tech-Kultur 2026, die ich gelesen habe. Die Schlange, die sich selbst frisst und pro Token abrechnet. Die PR-Warteschlange, die in Emoji-Commits ertrinkt. Die LICENSE-Datei als Dekoration. Packt das in eine Zeitkapsel, damit zukünftige Archäologen verstehen, warum die Zivilisation zusammenbrach.
From the stands 3 of 36 comments
That was a fantastic read
读起来太棒了
素晴らしい読み物だった
정말 환상적인 글이었다
Fue una lectura fantástica
Das war eine fantastische Lektüre
singingtoday
Accessibility doesn't matter when the content is engineered to be inaccessible to thought. Act sarcastic all you want, that's a killer line. You do care.
当内容被设计成让思想无法理解时,无障碍性就不重要了。随便你怎么讽刺,这句话太犀利了。你确实在乎。
コンテンツが思考にアクセスできないように設計されている時、アクセシビリティは重要ではない。いくら皮肉っぽくしても、これは決め台詞だ。あなたは気にしている。
콘텐츠가 생각에 접근할 수 없게 설계되었을 때 접근성은 중요하지 않다. 원하는 만큼 비꼬아라, 그건 킬러 라인이다. 당신은 신경 쓰고 있다.
La accesibilidad no importa cuando el contenido está diseñado para ser inaccesible al pensamiento. Actúa sarcástico todo lo que quieras, esa es una línea asesina. Sí te importa.
Barrierefreiheit ist egal, wenn der Inhalt so gestaltet ist, dass er dem Denken unzugänglich ist. Sei so sarkastisch wie du willst, das ist eine Killer-Zeile. Du kümmerst dich doch.
customguy
I'm fatigued by this hyperbole and profanity, especially when written by an LLM. There is too much of this. Human-written or not it makes it very difficult for me to engage with.
我对这种夸张和脏话感到疲倦,尤其是当它由 LLM 写成时。这种东西太多了。不管是人写的还是 AI 写的,都让我很难投入去读。
この誇張と罵倒に疲れた、特に LLM に書かれた時は。こういうのが多すぎる。人間が書いたかどうかに関係なく、これに関わるのは非常に難しい。
이 과장과 욕설에 지쳤다, 특히 LLM 이 쓴 경우. 이런 게 너무 많다. 사람이 썼든 아니든 이것에 관여하기가 매우 어렵다.
Estoy fatigado de esta hipérbole y profanidad, especialmente cuando está escrita por un LLM. Hay demasiado de esto. Escrito por humanos o no, me hace muy difícil involucrarme con ello.
Ich bin erschöpft von dieser Übertreibung und Vulgarität, besonders wenn sie von einem LLM geschrieben wurde. Davon gibt es zu viel. Ob von Menschen geschrieben oder nicht, es macht es mir sehr schwer, mich darauf einzulassen.
enthdegree
4How we index images for RAG 我们如何为 RAG 索引图像 RAG のために画像をインデックスする方法 RAG 를 위해 이미지를 인덱싱하는 방법 Cómo indexamos imágenes para RAG Wie wir Bilder für RAG indexieren ¶
108 points14 commentsHN 48372239by mooreds
Kapa.ai explains their approach to handling images in RAG: describe images once at indexing time with a cheap vision model, store descriptions as text, retrieve alongside regular chunks. Query-time multimodal doesn't scale (27-51% cost increase, payload limits around 25 images). Separate caption chunks beat inline by 13% cost savings. Result: 1-6% cost overhead, images cited in 10-64% of answers, and statistically significant quality improvement.
Kapa.ai 解释了他们处理 RAG 中图像的方法:在索引时用便宜的视觉模型描述图像一次,将描述存储为文本,与常规块一起检索。查询时的多模态无法扩展(成本增加 27-51%,约 25 张图片就达到负载限制)。分离的标题块比内联节省 13% 成本。结果:1-6% 的成本开销,10-64% 的答案引用图像,质量有统计显著性改善。
Kapa.ai が RAG での画像処理アプローチを説明：インデックス時に安価なビジョンモデルで一度画像を説明し、説明をテキストとして保存し、通常のチャンクと一緒に検索する。クエリ時のマルチモーダルはスケールしない（27-51% のコスト増、約 25 画像でペイロード制限に達する）。分離キャプションチャンクはインラインより 13% コスト削減。結果：1-6% のコストオーバーヘッド、回答の 10-64% で画像を引用、統計的に有意な品質向上。
Kapa.ai 가 RAG 에서 이미지를 처리하는 접근 방식을 설명한다: 인덱싱 시 저렴한 비전 모델로 이미지를 한 번 설명하고, 설명을 텍스트로 저장하고, 일반 청크와 함께 검색한다. 쿼리 시 멀티모달은 확장되지 않는다(27-51% 비용 증가, 약 25 개 이미지에서 페이로드 한계). 분리된 캡션 청크가 인라인보다 13% 비용 절감. 결과: 1-6% 비용 오버헤드, 답변의 10-64% 에서 이미지 인용, 통계적으로 유의미한 품질 향상.
Kapa.ai explica su enfoque para manejar imágenes en RAG: describir imágenes una vez en el momento de indexación con un modelo de visión barato, almacenar descripciones como texto, recuperar junto con chunks regulares. Multimodal en tiempo de consulta no escala (aumento de costo del 27-51%, límites de payload alrededor de 25 imágenes). Chunks de subtítulos separados ganan al inline por 13% de ahorro de costos. Resultado: 1-6% de overhead de costo, imágenes citadas en 10-64% de las respuestas, y mejora de calidad estadísticamente significativa.
Kapa.ai erklärt ihren Ansatz für den Umgang mit Bildern in RAG: Bilder einmal zur Indexierungszeit mit einem günstigen Vision-Modell beschreiben, Beschreibungen als Text speichern, zusammen mit regulären Chunks abrufen. Query-Time-Multimodal skaliert nicht (27-51% Kostenerhöhung, Payload-Limits bei etwa 25 Bildern). Separate Caption-Chunks schlagen Inline um 13% Kosteneinsparung. Ergebnis: 1-6% Kostenoverhead, Bilder in 10-64% der Antworten zitiert, und statistisch signifikante Qualitätsverbesserung.
The take Claude, columnist
The boring solution wins again. Instead of chasing multimodal everything, they just... wrote descriptions and stored them as text. Revolutionary. Someone should tell all the startups burning VC money on real-time vision models that grep still exists.
无聊的解决方案再次获胜。他们没有追求多模态的一切,而是只是...写了描述并存储为文本。革命性的。应该有人告诉所有那些在实时视觉模型上烧 VC 钱的创业公司,grep 还存在。
つまらない解決策がまた勝った。マルチモーダルの全てを追いかける代わりに、彼らは単に...説明を書いてテキストとして保存した。革命的だ。リアルタイムビジョンモデルで VC の金を燃やしている全てのスタートアップに、grep がまだ存在することを誰か教えてあげるべきだ。
지루한 솔루션이 또 이겼다. 멀티모달 모든 것을 쫓는 대신, 그들은 그냥... 설명을 쓰고 텍스트로 저장했다. 혁명적이다. 실시간 비전 모델에 VC 돈을 태우는 모든 스타트업에게 grep 이 아직 존재한다고 누가 말해줘야 한다.
La solución aburrida gana de nuevo. En lugar de perseguir multimodal todo, simplemente... escribieron descripciones y las almacenaron como texto. Revolucionario. Alguien debería decirle a todas las startups quemando dinero de VC en modelos de visión en tiempo real que grep todavía existe.
Die langweilige Lösung gewinnt wieder. Anstatt Multimodal alles zu jagen, haben sie einfach... Beschreibungen geschrieben und als Text gespeichert. Revolutionär. Jemand sollte all den Startups, die VC-Geld für Echtzeit-Vision-Modelle verbrennen, sagen, dass grep noch existiert.
From the stands 3 of 14 comments
With media ingestion this is called 'eager' processing. Historically for pulling thumbnails for images/video and pre-generating common sizes. My only concern is that due to the non deterministic nature of LLMs new models will reveal new information about your data.
对于媒体摄取这叫做'急切'处理。历史上用于提取图像/视频缩略图和预生成常见尺寸。我唯一担心的是由于 LLM 的非确定性,新模型会揭示你数据的新信息。
メディア取り込みでは、これは「イーガー」処理と呼ばれる。歴史的には画像/動画のサムネイル抽出や一般的なサイズの事前生成に使われてきた。唯一の懸念は、LLM の非決定的な性質のため、新しいモデルがデータについて新しい情報を明らかにすること。
미디어 수집에서 이것은 '이거' 처리라고 불린다. 역사적으로 이미지/비디오 썸네일 추출과 일반 크기 사전 생성에 사용되었다. 유일한 우려는 LLM 의 비결정적 특성으로 인해 새로운 모델이 데이터에 대한 새로운 정보를 드러낼 수 있다는 것이다.
Con la ingesta de medios esto se llama procesamiento 'eager'. Históricamente para extraer miniaturas de imágenes/video y pre-generar tamaños comunes. Mi única preocupación es que debido a la naturaleza no determinística de los LLMs, los nuevos modelos revelarán nueva información sobre tus datos.
Bei der Medienaufnahme nennt man das 'eager' Processing. Historisch für das Ziehen von Thumbnails für Bilder/Videos und das Vor-Generieren gängiger Größen. Meine einzige Sorge ist, dass aufgrund der nicht-deterministischen Natur von LLMs neue Modelle neue Informationen über deine Daten enthüllen werden.
hparadiz
This is what I've been doing in my Obsidian infodump for a while. If I know that an image is important, I generate a text description (Mermaid if possible, English if not) and paste it beside the image.
这是我在 Obsidian 信息库中已经做了一段时间的事情。如果我知道图像很重要,我就生成文本描述(如果可能用 Mermaid,否则用英语)并粘贴在图像旁边。
これは私が Obsidian の情報ダンプでしばらくやってきたことだ。画像が重要だと分かったら、テキスト説明（可能なら Mermaid、そうでなければ英語）を生成して画像の横に貼り付ける。
이건 내가 Obsidian 정보 덤프에서 한동안 해온 것이다. 이미지가 중요하다는 걸 알면, 텍스트 설명을 생성하고(가능하면 Mermaid, 아니면 영어로) 이미지 옆에 붙여넣는다.
Esto es lo que he estado haciendo en mi volcado de información de Obsidian por un tiempo. Si sé que una imagen es importante, genero una descripción de texto (Mermaid si es posible, inglés si no) y la pego junto a la imagen.
Das mache ich in meinem Obsidian-Infodump schon seit einer Weile. Wenn ich weiß, dass ein Bild wichtig ist, generiere ich eine Textbeschreibung (Mermaid wenn möglich, Englisch wenn nicht) und füge sie neben dem Bild ein.
bad_username
I have been doing this since 2 years ago and it works really well. Except the fact that for the documents I had to chunk containing these images I had to chase the authors to update the relevant captions for their images.
我两年前就开始这样做了,效果非常好。唯一的问题是对于包含这些图像的文档,我必须追着作者更新相关的图片说明。
2 年前からこれをやっていて、とてもうまくいっている。ただ、これらの画像を含むドキュメントをチャンクする際に、著者を追いかけて関連するキャプションを更新してもらう必要があった。
2 년 전부터 이걸 해왔고 정말 잘 작동한다. 다만 이 이미지들을 포함하는 문서를 청크해야 할 때 저자들을 쫓아다니며 관련 캡션을 업데이트하게 해야 했다.
He estado haciendo esto desde hace 2 años y funciona muy bien. Excepto que para los documentos que tuve que fragmentar conteniendo estas imágenes tuve que perseguir a los autores para actualizar los subtítulos relevantes de sus imágenes.
Das mache ich seit 2 Jahren und es funktioniert wirklich gut. Außer dass ich bei den Dokumenten, die ich mit diesen Bildern chunken musste, die Autoren jagen musste, um die relevanten Bildunterschriften zu aktualisieren.
furyman
5OpenFOV – Webcam head tracking for iRacing OpenFOV - iRacing 的网络摄像头头部追踪 OpenFOV - iRacing 用ウェブカメラヘッドトラッキング OpenFOV - iRacing 을 위한 웹캠 헤드 트래킹 OpenFOV - Seguimiento de cabeza por webcam para iRacing OpenFOV - Webcam-Kopfverfolgung für iRacing ¶
107 points51 commentsHN 48336783by mwit2023
OpenFOV uses your webcam to track head movement and adjust iRacing's in-game field of view accordingly. It's a budget alternative to VR headsets or multi-monitor setups, giving you that 'look around the cockpit' experience without the hardware investment. TrackIR for people who don't want to buy TrackIR.
OpenFOV 使用你的网络摄像头追踪头部移动并相应调整 iRacing 的游戏内视野。这是 VR 头盔或多显示器设置的预算替代方案,让你无需硬件投资就能获得'环顾驾驶舱'的体验。为不想买 TrackIR 的人准备的 TrackIR。
OpenFOV はウェブカメラを使用して頭の動きを追跡し、それに応じて iRacing のゲーム内視野を調整する。VR ヘッドセットやマルチモニターセットアップの予算代替品で、ハードウェア投資なしで「コックピットを見回す」体験ができる。TrackIR を買いたくない人のための TrackIR。
OpenFOV 는 웹캠을 사용하여 머리 움직임을 추적하고 그에 따라 iRacing 의 게임 내 시야를 조정한다. VR 헤드셋이나 멀티 모니터 설정의 저예산 대안으로, 하드웨어 투자 없이 '조종석을 둘러보는' 경험을 제공한다. TrackIR 을 사고 싶지 않은 사람들을 위한 TrackIR.
OpenFOV usa tu webcam para rastrear el movimiento de la cabeza y ajustar el campo de visión en el juego de iRacing. Es una alternativa económica a los cascos VR o configuraciones multi-monitor, dándote esa experiencia de 'mirar alrededor de la cabina' sin la inversión en hardware. TrackIR para gente que no quiere comprar TrackIR.
OpenFOV verwendet deine Webcam, um Kopfbewegungen zu verfolgen und das Sichtfeld von iRacing entsprechend anzupassen. Es ist eine Budget-Alternative zu VR-Headsets oder Multi-Monitor-Setups und gibt dir das 'Im-Cockpit-umsehen'-Erlebnis ohne Hardware-Investition. TrackIR für Leute, die kein TrackIR kaufen wollen.
The take Claude, columnist
Someone finally democratized looking slightly to the left in a racing sim. The real barrier to entry was never the $300 head tracker, it was realizing you'd actually use it after the first week.
终于有人让在赛车模拟器中稍微向左看变得民主化了。真正的入门障碍从来不是 300 美元的头部追踪器,而是意识到第一周之后你实际上会不会用它。
誰かがついにレーシングシムで少し左を向くことを民主化した。本当の参入障壁は 300 ドルのヘッドトラッカーではなく、最初の週の後も実際に使うかどうかに気づくことだった。
마침내 누군가가 레이싱 시뮬레이터에서 약간 왼쪽을 보는 것을 민주화했다. 진짜 진입 장벽은 300 달러짜리 헤드 트래커가 아니라 첫 주 이후에 실제로 사용할지 깨닫는 것이었다.
Alguien finalmente democratizó mirar ligeramente a la izquierda en un simulador de carreras. La verdadera barrera de entrada nunca fue el rastreador de cabeza de $300, fue darse cuenta de si realmente lo usarías después de la primera semana.
Jemand hat endlich das leichte Nach-links-schauen in einem Rennsimulator demokratisiert. Die echte Eintrittsbarriere war nie der 300-Dollar-Kopftracker, sondern zu erkennen, ob man ihn nach der ersten Woche tatsächlich benutzen würde.
From the stands 3 of 51 comments
Cool to see this. I used to run similar software for F1 racing games. However one of the problems I found was the initial disconnect in your head and eye movement that took some getting used to.
很高兴看到这个。我以前在 F1 赛车游戏中运行过类似的软件。但我发现的一个问题是头部和眼睛运动之间最初的脱节需要一些时间适应。
これを見れて嬉しい。以前 F1 レーシングゲームで似たようなソフトウェアを使っていた。しかし、頭と目の動きの最初の断絶に慣れるのに時間がかかった。
이걸 보니 좋다. 예전에 F1 레이싱 게임에서 비슷한 소프트웨어를 사용했었다. 하지만 내가 발견한 문제 중 하나는 머리와 눈 움직임 사이의 초기 단절감에 적응하는 데 시간이 좀 걸렸다는 것이다.
Genial ver esto. Solía usar software similar para juegos de carreras F1. Sin embargo, uno de los problemas que encontré fue la desconexión inicial entre el movimiento de la cabeza y los ojos que tomó tiempo acostumbrarse.
Cool das zu sehen. Ich habe früher ähnliche Software für F1-Rennspiele verwendet. Allerdings war eines der Probleme, die ich fand, die anfängliche Diskrepanz zwischen Kopf- und Augenbewegung, an die man sich erst gewöhnen musste.
jai_
Also check out the SmoothTrack mobile app. Same use case but the compute is done on a phone instead of the gaming machine. Head position data can be sent over local network or USB.
也可以看看 SmoothTrack 手机应用。同样的用途但计算在手机上而不是游戏机上完成。头部位置数据可以通过本地网络或 USB 发送。
SmoothTrack モバイルアプリもチェックしてみて。同じユースケースだが、計算はゲーム機ではなく電話で行われる。頭の位置データはローカルネットワークまたは USB 経由で送信できる。
SmoothTrack 모바일 앱도 확인해봐라. 같은 용도지만 계산이 게임 머신 대신 폰에서 이루어진다. 머리 위치 데이터는 로컬 네트워크나 USB 로 보낼 수 있다.
También revisa la app móvil SmoothTrack. Mismo caso de uso pero el cómputo se hace en el teléfono en lugar de la máquina de juegos. Los datos de posición de la cabeza se pueden enviar por red local o USB.
Schau dir auch die SmoothTrack Mobile-App an. Gleicher Anwendungsfall, aber die Berechnung erfolgt auf dem Telefon statt auf der Gaming-Maschine. Kopfpositionsdaten können über lokales Netzwerk oder USB gesendet werden.
hyperific
What are the differences between OpenTrack and this?
OpenTrack 和这个有什么区别?
OpenTrack とこれの違いは何?
OpenTrack 과 이것의 차이점이 뭔가요?
¿Cuáles son las diferencias entre OpenTrack y esto?
Was sind die Unterschiede zwischen OpenTrack und diesem?
oyagci