iamtuzi3333 最近的时间轴更新
iamtuzi3333

iamtuzi3333

V2EX 第 610758 号会员,加入于 2023-01-18 19:04:10 +08:00
大佬们,请教一下数据读取
程序员  •  iamtuzi3333  •  3 天前  •  最后回复来自 iamtuzi3333
26
哭了,前端真的太难受了。
Vue.js  •  iamtuzi3333  •  10 天前  •  最后回复来自 iamtuzi3333
88
大佬们,想请教一下数据库设计
  •  1   
    数据库  •  iamtuzi3333  •  87 天前  •  最后回复来自 iamtuzi3333
    68
    大佬们,大问题请教,内存占满
    MongoDB  •  iamtuzi3333  •  103 天前  •  最后回复来自 iamtuzi3333
    45
    实时数据展示请教,波形图
    Vue.js  •  iamtuzi3333  •  137 天前  •  最后回复来自 lneoi
    1
    有偿求大佬指点开发
  •  1   
    外包  •  iamtuzi3333  •  145 天前  •  最后回复来自 iamtuzi3333
    8
    有 2 张 hahaSIM,需要的朋友联系
    二手交易  •  iamtuzi3333  •  180 天前  •  最后回复来自 LeviDing
    5
    想请教一下, mongoDB 是否适合海量数据存储
    MongoDB  •  iamtuzi3333  •  107 天前  •  最后回复来自 lmq2582609
    20
    考研失败, Java ,应届生,要考虑转行吗?
    程序员  •  iamtuzi3333  •  2023-06-19 10:52:06 AM  •  最后回复来自 iamtuzi3333
    22
    iamtuzi3333 最近回复了
    我也一样,现在小公司啥技术栈也学不了,每天是温水煮青蛙,想跳槽发现自己啥也不会,唉,这行业不容易沉淀,并不是越来越吃香的行业,都在考虑下一步怎么走了。
    3 天前
    回复了 iamtuzi3333 创建的主题 程序员 大佬们,请教一下数据读取
    @nivalxer 挺好,后者历史数据我们很像,不过我就是还有一个实时数据的波形展示。
    @fishman231 我查询看看。
    @pangzipp 目前还没有实现三天以前读取本地文件,就是想这么做,看到一个方案就是只存储最近几天的数据,然后历史数据都存储到文件,查询历史数据通过读文件的形式去完成。MongoDB 分表我还不熟悉;技术栈都是啥好用简单方便就上啥了。
    5 天前
    回复了 iamtuzi3333 创建的主题 程序员 大佬们,请教一下数据读取
    @nivalxer 我是每个传感器一个表,返回的文档长度不超过 16M 吗,有更好的方案可以分享一下。
    @hd10180 他格式没有这么多,就是固定的 data 数组,要么 50,100,200 ,是根据采样率来定的。传感器也没有 uuid 全靠自己编。
    @yyt6801 data 数组就是 50 或者 100 或者 200 个浮点数,每秒的数据都是这样。
    @sagaxu 是的,我现在只统计了每秒的最大值,最小值,平均值,读取起来还不算太费劲。正常来说我们只关注十分钟这个节点,还有每分钟数据,这个都还算好用处理。文件确实,主要是读取文件比较麻烦,文件目录不固定,没有很好的索引方式。
    @kivmi 是的,但是我们的数据也不算大,就是多,频繁,每秒都有,直接查询原始数据出来也是为了做进一步处理,比如取出每一分钟的最大值,最小值,均值,方差这一些。
    5 天前
    回复了 iamtuzi3333 创建的主题 程序员 大佬们,请教一下数据读取
    @sagaxu 查询画图展示,长时间的我会额外查询宿友再处理,比如每十分钟提取一个最大值,汇聚所有的值返回。但是归根到底我还是要查询这些时间范围的数据。
    @aloxaf 前端查询数据主要是展示,会有额外的需求,不过我还是要单独查询出这些范围的数据做进一步的加工。原始数据是传感器就固定每秒会有数据,传感器一多,每小时打包就不方便了,有时需要上半段,有时候需要下半段,每秒是最好的处理方法。数据会查询很久之前的,需要保持。时序数据库我还在找,发现挺多不怎么合适,总有一两项让我退步🤣
    5 天前
    回复了 iamtuzi3333 创建的主题 程序员 大佬们,请教一下数据读取
    @MoYi123 内存溢出是 node 的问题好像,我试过查询去年某一段时间的数据,他就查询内存栈溢出了。
    @sagaxu 数据总量很多,每天 86400 条 json 存入,每次查询返回不定期,就是得根据前端传回的时间范围作为查询条件,有时候会查询去年某一段时间的数据,慢的时候主要是等待很久,数据库的每个集合的 timestamp 字段有做索引。查询代码如下:
    // 获取 MongoDB 原生数据库连接
    const db = mongoose.connection.db;
    // 获取指定的集合
    const collection = db.collection(collectionName);
    // 构建查询条件
    const query = {};
    const timestampInt = parseInt(timestamp, 10);
    query.timestamp = timestampInt;
    // 查询数据
    const result = await collection.find(query).toArray();
    if (result.length <= 0) {
    ctx.status = 200;
    ctx.body = { message: 'no data', data: [] };
    return;
    }

    @Oldletter 代码相对来说比较简单,就是传入集合名字,时间范围,就去对应的结合查询,查询代码如上,后端用的 node ,koa 框架,但是我发现 Mongo 的数据迁移不太方便,比如说我要把 a 服务器的某一个库的所有数据转移到 b 服务器的 Mongo 实例中,就不太方便了。
    5 天前
    回复了 iamtuzi3333 创建的主题 程序员 大佬们,请教一下数据读取
    @skallz 范围也大,会查询去年某一个月的所有数据,前端处理不太现实,现在文件跟业务都在一个服务器。
    @chihiro2014 我之前看过这个,但是他对 json 格式数据不太友好,部署相对麻烦。
    @xiaofsu 看了部分时序数据库,发现部分接口、迁移、数据格式不太方便。
    @daxin945 我查查这个数据库看看效果。
    10 天前
    回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
    好久没上来,向各位前端大佬问好,大学那会粗粗学习过前端三件套,现在工作页面只会改小地方,大框架还是整不来,拉去的模板东西又是太多,整的很难受。这段时间找了一个大佬帮忙写了一下,至少现在完成交差了。前端变化太多了,系统学习起来有点费精神,我也不是很爱钻研的人哈哈哈。现在我转头拥抱会传统的三件套了,让大佬帮忙搭架子,我在里面加东西。确实一点最难的就是 css ,我主要给体制内干活,他们对好看要求比较高,对实用性考虑没那么高,懂得都懂哈哈哈。现在 ai 对小东西改动确实挺好用,不过架子就搭的不好看了。现在整体市场都不好,也流出来很多大佬出来兼职帮忙。非常感谢!!!还得让自己多学习才行,小弟在小公司,什么活都自己干,哭。。。
    22 天前
    回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
    @linwuhi 是的,前端更新的也快,轮子比后端多好多。
    @66beta ui 框架内容太多了,我不要那么多,拿他们改起来费劲。
    @ggvoking 是的,后端业务逻辑性好点,特别是物联网,把协议对接好,数据就来了。加上我没啥设计细胞。
    @yagamil 是的,兼容性问题,版本问题,各种包的问题。
    @hyh0u0 特别要设计的好看,这个更加烦人。
    @hefish 前端的框架问题很多,不好说,拉下来按照步骤跑还是有问题,后端的东西拉下来基本都能跑,而且改起来也快。
    @vipfts 给的,但是不能太贵了,我需求真的简单,感觉大佬一下午就能搞完。
    @mixuxin 我搜索看看,能截图生产这么强的吗。
    @AlexHsu 能学习多点好事情,但是学起来很痛苦就烦恼了,后端我只考虑接口,响应设计好,其他就剩优化了。前端页面真的让我难受了。
    @eraserrain 我搜索看看。
    23 天前
    回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
    @yxlcareme 好的,已经添加。
    @meteor957 我现在也发现了,前端的模板东西太多了,改起来也很费劲。
    @heqingpan 谢谢大佬,我学习学习。
    @npe 好,我多看看。
    @guanzhangzhang 是的,我看到前端的模板就头大了,里面的内容写的天花乱坠,很多根本用不上呀。
    @Heisenberg66 羡慕大佬。
    @ybz 我是废了,哈哈哈。
    @DongDongProMax 上手了,还要改动,我哭。
    23 天前
    回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
    @mumbler 好的,我去搜搜看。
    @rogwan 确实是强上了,没办法,着急要。
    @donaldturinglee 现在我是看 vue3 ,他的坑也不少。react 还没接触过,你有空再请教你。
    @tabc2tgacd 是的,css 比较难,特别是要求好看的前提。
    @yxlcareme 大佬,最近你有时间吗,我要赶工个项目,几个页面。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2664 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 04:25 · PVG 12:25 · LAX 20:25 · JFK 23:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.