Berkeley fails students, Anthropic cages Claude, and LLMs can't hack their way out of a paper bag

This read like poetry to me. I have a linguistics background and a lot of my philosophizing lately has been on whether or not the emergent abilities of the LLMs is deep down a similar mechanism that creates our consciousness.

这读起来像诗。我有语言学背景,最近一直在思考 LLM 的涌现能力是否与创造我们意识的机制相同。

これは詩のように読めた。言語学のバックグラウンドがあり、最近は LLM の創発能力が意識を生み出すメカニズムと同じかどうかを考えている。

이것은 시처럼 읽혔다. 언어학 배경이 있고 최근 LLM 의 창발적 능력이 의식을 만드는 메커니즘과 같은지 고민해왔다.

Esto se leía como poesía. Tengo formación en lingüística y últimamente he filosofado sobre si las capacidades emergentes de los LLM son un mecanismo similar al que crea nuestra consciencia.

Das las sich wie Poesie. Ich habe einen linguistischen Hintergrund und philosophiere in letzter Zeit viel darüber, ob die emergenten Fähigkeiten von LLMs ein ähnlicher Mechanismus sind, der unser Bewusstsein erschafft.

It's not often I see something that's fractally wrong but here we are. There is a dictionary, it's called the tokenizer. There are grammar rules, they are just very weak.

我很少看到如此彻底错误的东西。有字典,叫做分词器。有语法规则,只是很弱。

これほど徹底的に間違っているものは滅多に見ない。辞書はある、トークナイザーと呼ばれる。文法規則もある、ただ弱いだけだ。

이렇게 철저하게 틀린 것을 보기 드물다. 사전이 있다, 토크나이저라고 불린다. 문법 규칙도 있다, 다만 약할 뿐이다.

Rara vez veo algo tan fractalmente equivocado. Hay un diccionario, se llama tokenizador. Hay reglas gramaticales, solo que son muy débiles.

Es kommt selten vor, dass ich etwas so fraktal Falsches sehe. Es gibt ein Wörterbuch, es heißt Tokenizer. Es gibt Grammatikregeln, sie sind nur sehr schwach.

I have some sympathy for these kids. If LLMs were around when I was a student, I would've also used them to 'speed up' my homework assignments then proceed to fail all my tests.

我对这些孩子有些同情。如果我上学时有 LLM,我也会用它们来'加速'作业,然后考试全挂。

これらの子供たちに同情する。学生時代に LLM があったら、私も宿題を「スピードアップ」するために使って、テストに全部落ちていただろう。

이 아이들에게 동정심이 간다. 내가 학생일 때 LLM 이 있었다면, 나도 숙제를 '빨리 끝내기' 위해 사용하고 시험은 다 떨어졌을 것이다.

Tengo algo de simpatía por estos chicos. Si hubiera tenido LLMs cuando era estudiante, también los habría usado para 'acelerar' mis tareas y luego reprobar todos mis exámenes.

Ich habe etwas Sympathie für diese Kids. Wenn es LLMs gegeben hätte, als ich Student war, hätte ich sie auch benutzt, um meine Hausaufgaben zu 'beschleunigen', und dann alle Tests durchfallen.

The likely 'real' reason is hidden in one paragraph: both professors signed a petition calling for reinstatement of standardized testing for STEM admissions.

真正的原因隐藏在一个段落里:两位教授都签署了恢复 STEM 招生标准化考试的请愿书。

本当の理由は一つの段落に隠されている：両教授は STEM 入試の標準テスト復活を求める請願書に署名した。

진짜 이유는 한 단락에 숨겨져 있다: 두 교수 모두 STEM 입학 표준화 시험 재도입을 요구하는 청원서에 서명했다.

La razón 'real' está oculta en un párrafo: ambos profesores firmaron una petición para restablecer pruebas estandarizadas en admisiones STEM.

Der wahrscheinlich 'echte' Grund ist in einem Absatz versteckt: Beide Professoren haben eine Petition zur Wiedereinführung standardisierter Tests für STEM-Zulassungen unterschrieben.

One interesting takeaway is the low score on Anthropic models. It's not because of capability, it's because Anthropic's guardrails prevented it from solving the problem.

一个有趣的发现是 Anthropic 模型的低分。这不是因为能力问题,而是因为 Anthropic 的护栏阻止了它解决问题。

興味深い発見は Anthropic モデルの低スコアだ。これは能力の問題ではなく、Anthropic のガードレールが問題解決を妨げたからだ。

흥미로운 발견은 Anthropic 모델의 낮은 점수다. 이는 능력 문제가 아니라 Anthropic 의 가드레일이 문제 해결을 막았기 때문이다.

Una conclusión interesante es la baja puntuación de los modelos Anthropic. No es por capacidad, es porque los guardarraíles de Anthropic le impidieron resolver el problema.

Eine interessante Erkenntnis ist die niedrige Punktzahl der Anthropic-Modelle. Es liegt nicht an der Fähigkeit, sondern daran, dass Anthropics Leitplanken es daran hinderten, das Problem zu lösen.

The methodology used is quite naive. Expecting the model to do everything by itself is unrealistic. Working alongside the model works really well.

使用的方法相当幼稚。期望模型独自完成一切是不现实的。与模型协作效果很好。

使用した方法論はかなり素朴だ。モデルに全てを単独でやらせることを期待するのは非現実的だ。モデルと一緒に作業するとうまくいく。

사용된 방법론은 꽤 단순하다. 모델이 혼자서 모든 것을 하기를 기대하는 것은 비현실적이다. 모델과 함께 작업하면 정말 잘 된다.

La metodología usada es bastante ingenua. Esperar que el modelo haga todo por sí mismo es irrealista. Trabajar junto al modelo funciona muy bien.

Die verwendete Methodik ist ziemlich naiv. Zu erwarten, dass das Modell alles alleine macht, ist unrealistisch. Mit dem Modell zusammenzuarbeiten funktioniert sehr gut.

The framing they use is hilarious. The risk of harm doesn't go down, but the reward goes up, so the harm just becomes the cost of doing business, justified by the reward.

他们使用的框架很搞笑。伤害风险没有下降,但回报上升了,所以伤害只是成为做生意的成本,被回报所证明。

彼らが使うフレーミングは滑稽だ。害のリスクは下がらないが、報酬が上がるので、害は報酬によって正当化されるビジネスのコストになるだけだ。

그들이 사용하는 프레이밍이 웃긴다. 해악의 위험은 줄어들지 않지만 보상이 올라가서, 해악은 보상으로 정당화되는 사업 비용이 될 뿐이다.

El encuadre que usan es hilarante. El riesgo de daño no baja, pero la recompensa sube, así que el daño solo se convierte en costo de negocio, justificado por la recompensa.

Die Rahmung, die sie verwenden, ist urkomisch. Das Schadensrisiko sinkt nicht, aber die Belohnung steigt, also wird der Schaden nur zu Geschäftskosten, gerechtfertigt durch die Belohnung.

I'm intensely skeptical about anything Anthropic says, because they are so incented to make their products seem dangerous ahead of their IPO.

我对 Anthropic 说的任何话都非常怀疑,因为他们有很强的动机在 IPO 前让产品看起来很危险。

Anthropic の言うことには非常に懐疑的だ。IPO 前に製品を危険に見せるインセンティブが非常に強いからだ。

Anthropic 이 말하는 것에 대해 매우 회의적이다. IPO 전에 제품을 위험하게 보이게 하려는 인센티브가 매우 크기 때문이다.

Soy intensamente escéptico sobre cualquier cosa que diga Anthropic, porque están muy incentivados a hacer que sus productos parezcan peligrosos antes de su IPO.

Ich bin sehr skeptisch gegenüber allem, was Anthropic sagt, weil sie stark motiviert sind, ihre Produkte vor dem IPO gefährlich erscheinen zu lassen.

It's not particularly revelatory to point out that this project has been generated largely by LLM (claude most likely, given the CLAUDE.md in the repo). I wonder if this is just what we get now: low quality code, expressed rapidly.

指出这个项目主要由 LLM 生成(很可能是 Claude,考虑到仓库里有 CLAUDE.md)并不是什么惊人发现。我想知道这是否就是我们现在得到的:快速表达的低质量代码。

このプロジェクトが主に LLM（リポジトリに CLAUDE.md があることからおそらく Claude）によって生成されたことを指摘するのは特に啓示的ではない。これが今後得られるものなのだろうか：急速に表現された低品質なコード。

이 프로젝트가 주로 LLM(리포에 CLAUDE.md 가 있는 것으로 보아 아마도 Claude)에 의해 생성되었다는 것을 지적하는 것은 특별히 놀라운 일이 아니다. 이것이 우리가 이제 얻는 것인지 궁금하다: 빠르게 표현된 저품질 코드.

No es particularmente revelador señalar que este proyecto ha sido generado en gran parte por LLM (probablemente Claude, dado el CLAUDE.md en el repo). Me pregunto si esto es lo que obtenemos ahora: código de baja calidad, expresado rápidamente.

Es ist nicht besonders aufschlussreich darauf hinzuweisen, dass dieses Projekt größtenteils von LLM generiert wurde (wahrscheinlich Claude, angesichts der CLAUDE.md im Repo). Ich frage mich, ob das jetzt einfach das ist, was wir bekommen: schnell ausgedrückter Code niedriger Qualität.

This looks good. But the thing that always lets me down on UI frameworks is how much work it is to get something on the screen. My first language was Borland Turbo C++. It was so comparatively simple to do stuff.

这看起来不错。但 UI 框架总让我失望的是要在屏幕上显示东西需要多少工作。我的第一门语言是 Borland Turbo C++。做事情相比之下简单多了。

これは良さそうだ。でも UI フレームワークでいつもがっかりするのは、画面に何かを表示するのにどれだけの作業が必要かということだ。私の最初の言語は Borland Turbo C++だった。比較的シンプルに物事ができた。

이것은 좋아 보인다. 하지만 UI 프레임워크에서 항상 실망하는 것은 화면에 무언가를 표시하는 데 얼마나 많은 작업이 필요한지다. 내 첫 번째 언어는 Borland Turbo C++였다. 비교적 간단하게 일을 할 수 있었다.

Esto se ve bien. Pero lo que siempre me decepciona de los frameworks UI es cuánto trabajo cuesta poner algo en pantalla. Mi primer lenguaje fue Borland Turbo C++. Era comparativamente muy simple hacer cosas.

Das sieht gut aus. Aber was mich bei UI-Frameworks immer enttäuscht, ist wie viel Arbeit es kostet, etwas auf den Bildschirm zu bekommen. Meine erste Sprache war Borland Turbo C++. Es war vergleichsweise so einfach, Dinge zu tun.