这两个都是半天就入门了，花个 1 天时间全部学下不就好了

你这硬件就装个 10 年前的 Debian 吧

没有条件编译，交叉编译等需求的，直接 maven 就好了

nixos

加个冷数据归档功能就好了

Windows ，mac ，Linux 三修都没什么压力

```
/// Iterates over each element.
///
/// # Arguments
///
/// - `self`: The array to iterate over.
/// - `f`: The function to apply to each element.
///
/// # Example
///
/// ```
/// [1, 2, 3, 4, 5].iter(fn(x){ print("\(x) ") }) //output: 1 2 3 4 5
/// ```
pub fn iter[T](self : Array[T], f : (T) -> Unit) {
let mut i = 0
while i < self.length() {
f(self[i])
i = i + 1
}
}
```

rust 味太重了吧

这两个东西全学也没啥难度

不如你用这预算租 GPU 用用

这两个都是死路一条，还不如开发

输入法推荐用 https://github.com/iDvel/rime-ice ，就在 aur 里，词库更新还算频繁

要补 3w

langchain ，ollama 都是应用层的东西，如果你要深入理解 LLM ，看这两个都没啥用，因为这两个本质上就是调 api 。
要系统得了解 LLM ，还是老老实实从理论开始看起，比如最基本的 《 attention is all you need 》，理解了它你才能看懂 transformer 的模型结构以及推理的代码。有了理论基础后再选个方向深入研究，比如推理部署，模型的结构设计，模型训练微调。现在代码资源很丰富的，没有理论基础，看起来会非常吃力。

效果不行，试了几个问题就没兴趣了

debian + docker 纯手动

@wclebb 能跑，7b 量化到 2bit ，iPhone 15 Pro 上就能跑了，但没什么用，模型上限太低了

@ShadowPower 在我的 7950x 上面，llama.cpp avx512 有大约 10%到 20%的提升

纯 cpu 跑买一块支持 avx512 的 cpu 加 32G 内存，跑跑量化 7b 的也还行。用 gpu 你那块 3060ti 跑 7b 也完全够了，单独配其实也可以考虑 amd rocm ，便宜大碗。但目前这块需求其实没那么强，跑起来新鲜劲一过，容易吃灰。

自己编译一下 llama.cpp ，一样的效果