V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
zwpaper
V2EX  ›  分享创造

一觉醒来, HackerNews 上前三了

  •  2
     
  •   zwpaper ·
    zwpaper · 4 天前 · 12283 次点击

    项目地址: https://github.com/TabbyML/tabby

    主要是用 Rust 做企业级编程助手,欢迎大家围观,更欢迎各种意见和建议

    92 条回复    2025-01-15 11:55:31 +08:00
    litchinn
        1
    litchinn  
       4 天前   ❤️ 2
    我发现之前就 star 过了,是不是上过 trending ,居然是本站大佬的作品,厉害
    guotie
        2
    guotie  
       4 天前   ❤️ 2
    巨佬
    zwpaper
        3
    zwpaper  
    OP
       4 天前   ❤️ 1
    @guotie @litchinn 哈哈,没有没有,我也只是其中一员,虽然目前我们人也不多就是了。
    MoGeJiEr
        4
    MoGeJiEr  
       4 天前   ❤️ 1
    相当屌
    zhixiao
        5
    zhixiao  
       4 天前
    请教一下,是不是必须配合 server 使用,如果我只想使用 tabby vscode 插件+deepseek api 行不行呢?刚刚配置失败了
    zwpaper
        6
    zwpaper  
    OP
       4 天前
    @zhixiao 必须要配合 Server 使用的,Server 在 LLM API 之外会做很多事情,就像读取文档,代码库,然后根据这些信息,再给你补全和生成代码。

    配合 Server 也不复杂,目前 release 里就是两个二进制文件,放到 PATH 下的目录里就好,很容易就能跑起来
    zhixiao
        7
    zhixiao  
       4 天前
    @zwpaper 多谢,我晚点试试看,就是不知道对比 copilot ,deepseek 的效果究竟咋样
    zwpaper
        8
    zwpaper  
    OP
       4 天前
    @zhixiao #7 Copilot 确实是强劲的对手,我们算是互有优势吧,一直在争取有一天能说我们比 Copilot 强

    deepseek 的话,主要说的是模型吧?我们本身也是可以用 deepseek 的模型的
    cloudzhou
        9
    cloudzhou  
       4 天前
    我之前甚至考虑过一种实现,就是配合麦克风、当前页面:
    当我按某个快捷键,说明开始和 ai 交互,开始语言输入,然后说出指令,就自动提示代码

    考虑到编程很多是繁琐的细节,这一块能完成,效率简直 x3
    yh7gdiaYW
        10
    yh7gdiaYW  
       4 天前   ❤️ 11
    话说为啥要取名 tabby ,已经有一个 6 万 star 的 tabby 了,搜索时结果混淆在一起有点蛋疼
    q1102389095
        11
    q1102389095  
       4 天前
    @cloudzhou 技术部秒变客服部
    cloudzhou
        12
    cloudzhou  
       4 天前
    @q1102389095 也别这么说,也可以说技术人员更高阶了,hhh
    q1102389095
        13
    q1102389095  
       4 天前
    @cloudzhou 我说的是有了这个以后技术部从原本敲代码方式转变成叨叨叨了,这样降噪等问题以及说错话还有方言、感冒带鼻音等都要处理,前段时间我感冒了说的很多东西不准确,我的智能家居开始已读乱回
    cloudzhou
        14
    cloudzhou  
       4 天前
    @q1102389095 我自己用了 wx ,感觉准确率可以,对于编程来说,术语、特定语言在一个小范围,理论上更加精准才对,并且,局部的不精准,不影响全局的理解。

    如果那一天编程到了这一步,编程的方式都有些变化了
    viking602
        15
    viking602  
       4 天前   ❤️ 2
    @yh7gdiaYW 确实我第一反应是那个 tabby 太容易混淆了
    tars13344
        16
    tars13344  
       4 天前
    @cloudzhou #9 你是否在找 罗永浩-TNT
    cloudzhou
        17
    cloudzhou  
       4 天前   ❤️ 1
    @tars13344 如果都用语音识别,确实有些傻瓜瓜,但是考虑到语音识别的准确性、快速响应进步,在一些场景确实可以的,我不大使用 AI 一个原因是,有时候打了一大段字描述一个问题,来回的时候(各种微调)我都可以自己写代码了
    magzza
        18
    magzza  
       4 天前
    第一眼以为是终端软件 tabby 。
    zwpaper
        19
    zwpaper  
    OP
       4 天前
    @cloudzhou #9 抛开语音识别,并且把当前页面限制到 VSCode ,目前的实现其实就是类似的效果,当然,一些更好的体验其实也受限于当前 LLM 的能力,实际做下来体验不如预期,还得等 LLM 再进化
    zwpaper
        20
    zwpaper  
    OP
       4 天前
    @yh7gdiaYW 可以用 ML 后缀来区别,Tab by ML ,所以去掉 ML 就是产品名,和终端 Tabby 重名也确实是巧合了
    1016
        21
    1016  
       4 天前
    我之前在 vs code 里面使用过 tabby ,我也不知道啥原因感觉不太“聪明”的样子。后来我就没用了。

    现在才知道要配置一些东西才好用....
    nagisaushio
        22
    nagisaushio  
       4 天前 via Android
    @cloudzhou 什么 tnt
    SilenceLL
        23
    SilenceLL  
       4 天前
    同感,看成终端软件了,以为终端里面加了 ai 。
    FcukYouTony
        24
    FcukYouTony  
       4 天前
    能部署到 NAS 么
    yh7gdiaYW
        25
    yh7gdiaYW  
       4 天前
    @zwpaper 但 google 的搜索结果官网是"Tabby - Opensource, self-hosted AI coding assistant",Github 的仓库也是"tabby",如 23 楼所说真的很容易以为是 tabby 加了 ai
    hujnnn
        26
    hujnnn  
       4 天前
    之前就 Star 了, 好奇的是付费用户多么? 🐶头保命🤣
    QlanQ
        27
    QlanQ  
       4 天前
    以前就试过,感觉本地部署还是很占资源的,Mac 用不起
    RicardoY
        28
    RicardoY  
       4 天前
    @yh7gdiaYW +1 ,这个名字楼主团队是否可以考虑换一下
    liuliuliuliu
        29
    liuliuliuliu  
       4 天前
    有没有和其他助手的对比?
    xfn
        30
    xfn  
       4 天前
    感觉 continue 比较像,和 continue 相比有什么优势么?
    crackidz
        31
    crackidz  
       4 天前
    之前看到了,确实挺不错的
    FightPig
        32
    FightPig  
       4 天前
    之前才看过,没想到作者居然在 v2
    zwpaper
        33
    zwpaper  
    OP
       4 天前
    @yh7gdiaYW #25 Tabby 这个名字现在积累了一定的产品力了,肯定不会轻易考虑换,而且和终端的 Tabby 毕竟也不是一个赛道的
    zwpaper
        34
    zwpaper  
    OP
       4 天前   ❤️ 1
    @FcukYouTony 肯定是可以的,但是 NAS 的话,一般得用远端的 API 了,或者 NAS 本身能力比较强大也是可以的,毕竟还是依赖 LLM 的能力
    zwpaper
        35
    zwpaper  
    OP
       4 天前
    @QlanQ 资源大头还是在 LLM 上,Server 本身占用的资源不算多,所以说实话,目前 Mac 上我主要也是开发场景在用,生产场景还是依赖远端的 LLM
    zwpaper
        36
    zwpaper  
    OP
       4 天前
    @liuliuliuliu @xfn 我们目前没有对比的文章,但是从个人体验上说,Tabby 会获取更多的上下文,包括编辑器里能获取的,还有 Server Side 保存的,在 Chat 或者补全的时候都会有更高的命中率
    devdes
        37
    devdes  
       4 天前   ❤️ 2
    @zwpaper 今天第一个 star 。 果然是能力越大,头像越黑😉
    lynan
        38
    lynan  
       4 天前 via iPad
    @devdes 奇怪的关注点增加了😂
    xdeng
        39
    xdeng  
       4 天前
    要英伟达的显卡?
    Echoleung
        40
    Echoleung  
       4 天前 via Android
    本地无显卡,怎么使用现有模型 api 作为远端服务呢?有教程吗,windows 的?
    jonsmith
        41
    jonsmith  
       4 天前
    star 了,等有显卡了试试
    Liftman
        42
    Liftman  
       4 天前   ❤️ 1
    挺好的,适合我们自建。我之前还在烦呢。因为 cursor 跑 ollama 比较麻烦,每个人都配置一下也挺烦,而且 cursor 也不是每个人都首选。 这个就不错。
    TimPeake
        43
    TimPeake  
       4 天前
    按教程 docker 部署完毕, http://localhost:8080 或者指定其他端口,无法打开 ,什么情况
    zwpaper
        44
    zwpaper  
    OP
       4 天前
    @xdeng @Echoleung @jonsmith 本地有显卡是最好的,可以本地跑模型,尤其对于企业来说,数据还很重要的。

    没有显卡的情况下,Tabby 也支持使用远端的模型 API ,针对不同的厂商,我们也都有对应的文档,可以参考一下,例如最近很火的 Deepseek V3 和 Deepseek Coder 都可以通过 Deepseek 的 API 运行: https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    zwpaper
        45
    zwpaper  
    OP
       4 天前
    @TimPeake 得看一下具体的日志和报错,之前碰到过的 docker 绑了 IPv6 ,还碰到过 localhost 解析异常,或者 GPU 异常,之类的问题

    或者各位有条件的话,可以加一下我们的 Slack ,我们可以更好的当好客服工作,哈哈

    https://links.tabbyml.com/join-slack-landing
    a174871
        46
    a174871  
       4 天前
    如果可以先用 Gemini 体验一下就好了,刚刚看了下文档似乎没提到 Gemini
    zwpaper
        47
    zwpaper  
    OP
       4 天前
    @a174871 因为 Gemini 只有 Chat 模型,所以关注度不算高,不过好像也确实可以把 Chat 模型给他加上,毕竟也是个 LLM 大哥
    Rrrrrr
        48
    Rrrrrr  
       4 天前
    如果在本地跑,还得用你们的 api 吗?有些公司不让上网的,所以就用不了?
    a132811
        49
    a132811  
       4 天前
    允许将整个本地项目代码加入上下文吗?或者指定本地的几个目录的代码作为上下文
    TimPeake
        50
    TimPeake  
       4 天前
    @zwpaper #45 可能我电脑性能不太行,200 秒左右启动成功, 刷新可以打开了。安装了 cuda toolkit, 试了下 tab 补全的时候 3050 显卡瞬间飙升到 70%+使用率
    Alias2023
        51
    Alias2023  
       4 天前
    能本地部署了,这个怎么还需要订阅
    JZen
        52
    JZen  
       4 天前   ❤️ 1
    牛逼,先点 Star ,等会部署玩玩
    ZSeptember
        53
    ZSeptember  
       4 天前
    很早就看到了,没想到是国内厂商,支持。
    zwpaper
        54
    zwpaper  
    OP
       4 天前
    @TimPeake #50 LLM 基本都是这样,不同模型对显卡的利用率也不一样
    zwpaper
        55
    zwpaper  
    OP
       4 天前
    @Rrrrrr "我们的 API" 就是指的本地运行的这个 Server API ,公司不让上网指的应该是不让上互联网吧,公司内网部署 Tabby ,然后内部都访问这个 API 就行
    zwpaper
        56
    zwpaper  
    OP
       4 天前
    @a132811 是的,允许添加 GitHub/GitLab 等仓库,会自动去拉取,或者本地的 Git 仓库也都是可以的
    zwpaper
        57
    zwpaper  
    OP
       4 天前
    @Alias2023 个人本地部署基本没有限制,有一些企业功能是限制了需要订阅才可以的,这也是我们的商业模式
    zwpaper
        58
    zwpaper  
    OP
       4 天前
    @ZSeptember 哈哈,互联网时代,主要还是看产品
    Rrrrrr
        59
    Rrrrrr  
       4 天前
    @zwpaper #55 有没有推荐什么配置,能跑得比较好?
    jlak
        60
    jlak  
       4 天前 via iPhone
    这种是不是很吃 token
    abeholder
        61
    abeholder  
       4 天前
    只能使用本地的模型吗 ,能接其他 LLM 的 API 么?
    cyhulk
        62
    cyhulk  
       4 天前
    膜拜,先 star
    Echoleung
        63
    Echoleung  
       4 天前 via Android
    @zwpaper 使用远端模型,配置好 config 后执行.\tabby.exe serve 启动就行吗?
    abbottkhan399
        64
    abbottkhan399  
       4 天前
    厉害,点个 star 部署试试
    ScjMitsui
        65
    ScjMitsui  
       4 天前   ❤️ 1
    厉害的!我同学是你们中一员,在朋友圈宣传过几次
    Remember
        66
    Remember  
       4 天前
    你这跟哪个 ssh 客户端重名了呀,我吓一跳,以为那作者说中文了。
    a174871
        67
    a174871  
       3 天前
    @zwpaper #47 感谢回复,您提到 Gemini 只有 chat 模型,是因为 tabby 还需要其他模型吗 比如 Embedding ?我印象中 Google 的 AI studio 中提供的 API 和 OpenAI 中提供的都是只有 chat 吧?
    lovestudykid
        68
    lovestudykid  
       3 天前
    有点不太理解,其他一些工具不都是插件+api 就行了么,为什么还需要一个单独的程序
    pigzzz
        69
    pigzzz  
       3 天前
    还以为是那个 terminal
    f1ynnv2
        70
    f1ynnv2  
       3 天前
    @cloudzhou vscode+copilot 里,command+两次不就是你说的这个效果吗?我自己在家的时候一直是语音说需求,copilot 给我改代码的
    f1ynnv2
        71
    f1ynnv2  
       3 天前
    @f1ynnv2 command+i 两次
    isSamle
        72
    isSamle  
       3 天前
    怎么没有中文文档😂
    astkaasa
        73
    astkaasa  
       3 天前
    已 star, 今天去试用一下, 有没有和 CodeGPT 跑本地模型的对比?
    zwpaper
        74
    zwpaper  
    OP
       3 天前
    @a174871 #67 是的,全能力需要 3 个模型,Chat 、Completion 、Embedding ,

    Google 有 Chat 和 Embedding

    OpenAI 三个都有,只是 Completion 已经 Deprecated 了
    zwpaper
        75
    zwpaper  
    OP
       3 天前
    @Rrrrrr #59 我个人的经验是 codestral 22b 一个模型对于 Completion 和 Chat 处理得都挺不错的,显卡能跑起来这个模型的话,体验上应该就很不错了
    zwpaper
        76
    zwpaper  
    OP
       3 天前
    @Echoleung #63 是的
    zzzlight
        77
    zzzlight  
       3 天前
    star 好久了 看到你发才知道原来是本站佬的作品
    sanquan
        78
    sanquan  
       3 天前 via iPhone
    巨佬你好
    astkaasa
        79
    astkaasa  
       3 天前
    vscode 和 intellij 里面的 chat 页面出不来, 代码补全是正常的
    astkaasa
        80
    astkaasa  
       3 天前
    @astkaasa 这样启动的
    tabby serve --device metal --model Qwen2.5-Coder-7B --chat-model Qwen2.5-Coder-7B-Instruct --port 10000 --no-webserver
    a174871
        81
    a174871  
       3 天前
    @zwpaper #74 感谢回复,那能否像 Dif 一样,可以分别配置 chat 、Completion 、Embedding 所使用的模型,比如我可以把 Embedding 使用本地部署的,而 chat 使用 Gemini 呢?
    cloudzhou
        82
    cloudzhou  
       3 天前 via iPhone
    @f1ynnv2 那太先进了,我只是自己的一个想法,程序员真要变革了
    twohappy
        83
    twohappy  
       3 天前
    屌啊,相当屌
    devzhaoyou
        84
    devzhaoyou  
       3 天前
    牛叉 留名
    zwpaper
        85
    zwpaper  
    OP
       3 天前
    @a174871 #81 可以的,参考这里几个不同的厂商,可以组合使用,也可以本地远端组合使用
    https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    zwpaper
        86
    zwpaper  
    OP
       3 天前
    @jlak 会有点,不过现在 token 价格也都越来越便宜了,而且只会更便宜,另外就是本地有显卡的话,本地模型能力也会越来越强的
    monkeyWie
        87
    monkeyWie  
       2 天前 via Android
    没懂这个和 cline 插件有啥区别
    zwpaper
        88
    zwpaper  
    OP
       2 天前
    @astkaasa #80 可以到 GitHub 或者 Slack 里贴一下详细的问题,才能定位一下怎么回事
    zwpaper
        89
    zwpaper  
    OP
       2 天前
    @monkeyWie Tabby 会整合更多的相关信息,不仅仅是一个代码助手
    weank
        90
    weank  
       2 天前   ❤️ 1
    牛的👍,最近也在企业内部做代码生成工具,看了下 repo ,感觉能学到很多
    weank
        91
    weank  
       2 天前
    但是 rust 是一个门槛,无论对开发者还是想要接入服务的企业来说,存在一定的障碍。
    zwpaper
        92
    zwpaper  
    OP
       2 天前
    @weank #91 语言只是实现途径之一,用 Rust 也是考虑生态之后的选项,实际开发体验下来也都挺好的,我也知道 Rust 的花边新闻,不过最终产出才是中最要的。

    对于开发者,主要是有一个上手门槛,但是现在像 Tabby 这样的助手出现,也能很大程度的降低这个门槛。

    对于企业,主要还是看产品,一般也不会过多关注具体的实现方式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1087 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 23:12 · PVG 07:12 · LAX 15:12 · JFK 18:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.