首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

将数据存到 mysql 并且写入到 txt 文件中做筛选功能

  •  
  •   kayseen · 11 天前 · 789 次点击
    需求:
    	1.每一分钟记录一次某个区域的温度、湿度等信息,
    	2.需要查询的信息:
    		1.这个区域的 1 小时之内的温度、湿度等信息的变化,按每分钟展示
    		2.这个区域的 7 天的同一时刻的温度、湿度等变化(比如近七天的 13 点 13 分的数据)
    
    按照将数据写入 txt 文件的方式,
    我是应该将当天的数据存到 mysql,然后再将数据从 mysql 存到 txt 中, (不知道怎么在第二天将前一天的数据存在 txt 中...)
    然后再使用 pandas 筛选七天数据(目前还不知道 pandas 能不能实现这种筛选功能...)
    
    请问这种方案算得上好吗?
    如果可以的话,上面的两个疑问麻烦也解答下
    
    4 回复  |  直到 2019-09-11 18:41:58 +08:00
        1
    opengps   11 天前
    温度采集器数据库设计发过贴,果然还是你
    7 天同一时刻,数据库索引到位,循环读取 7 次就可以满足需求了
    你打开文件流读取 txt 的效率未必有直接读取数据库高
    另外你采集器的采集频率未必严格准确,应当使用时间过滤取 top1 的形式,需要允许某一天的 13 点 13 分没有数据去 13 点 12 分数据代替
        2
    markgor   11 天前
    写入 TXT 是不是有点多余?如果是必须写入的,那写入 MYSQL 和 txt 应该是同时进行,
    基础数据有了做筛选时候通过 mysql 查询出来就行了。
        3
    crohn   11 天前
    时序数据库,了解一下
        4
    Jeffrey4l   10 天前
    promtheus? 试试
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2154 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 19ms · UTC 06:28 · PVG 14:28 · LAX 23:28 · JFK 02:28
    ♥ Do have faith in what you're doing.