V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
lixuda
V2EX  ›  Python

为什么 Python peewee 第一次运行时间很长

  •  
  •   lixuda · 2020-08-01 09:51:26 +08:00 · 2642 次点击
    这是一个创建于 1600 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据库 mysql,10 多万条数据,排序后获取 N 条,第一次运行需要几秒,但是再运行获取只需要 0.0 几秒

    哪位大神赐教下,谢谢

    第 1 条附言  ·  2020-08-01 21:43:28 +08:00
    是用在 flask 上,并索引。
    同一数据库,用 php 写,读取列表没有问题,换成 flask+peewee,就读取很慢
    第 2 条附言  ·  2020-08-08 11:03:51 +08:00
    现在用 from playhouse.flask_utils import FlaskDB
    方式链接数据库,这个问题貌似解决了,没有出现长时间
    13 条回复    2020-08-11 09:30:41 +08:00
    pabupa
        1
    pabupa  
       2020-08-01 10:44:58 +08:00 via Android
    主机名是 localhost 还是 127 ?
    RyougiShiki
        2
    RyougiShiki  
       2020-08-01 11:34:18 +08:00
    排序就是比较耗时,不过十万条不算很多,加索引试试,再次快因为数据库有缓存。
    lixuda
        3
    lixuda  
    OP
       2020-08-01 11:51:10 +08:00
    @pabupa localhost,127 测试下也一样情况
    loading
        4
    loading  
       2020-08-01 12:07:14 +08:00
    你用其他图形化管理工具连 mysql,然后泡一下你的 SQL,你看看。
    ClericPy
        5
    ClericPy  
       2020-08-01 14:35:33 +08:00
    PySnooper 看看?

    有点怀疑连接池惰性初始化
    sujin190
        6
    sujin190  
       2020-08-01 14:55:59 +08:00
    没索引吧,首次查询全表扫描肯定很慢,之后的很快是因为查询缓存的存在吧,估计不是 peewee 的问题,你可以直接 cli 命令行试试 sql
    lixuda
        7
    lixuda  
    OP
       2020-08-01 21:45:51 +08:00
    @sujin190 已索引的
    black11black
        8
    black11black  
       2020-08-02 00:12:30 +08:00
    十万排序对 py 和 mysql 都不是瓶颈,排序业务,有明显迟滞感的量级目前对 py 来说是亿级,mysql 是千万级。建议业务代码 debug,或者新建裸环境测试 peewee
    lixuda
        9
    lixuda  
    OP
       2020-08-02 09:19:51 +08:00
    @black11black 应该是我对 peewee 不熟,不知道哪里出问题
    dogeglat
        10
    dogeglat  
       2020-08-02 10:29:30 +08:00
    @ClericPy
    正解

    可以 profile 看下耗时在哪
    summerwar
        11
    summerwar  
       2020-08-02 16:52:47 +08:00
    代码类问题 尽量贴代码,不然都是瞎猜
    di94sh
        12
    di94sh  
       2020-08-08 08:09:43 +08:00 via iPhone
    logging 打出 sql 来看执行计划
    lixuda
        13
    lixuda  
    OP
       2020-08-11 09:30:41 +08:00
    @ClericPy 用 connect("mysql+pool: 连接池方式链接,没有加载的时间了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2818 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 61ms · UTC 15:01 · PVG 23:01 · LAX 07:01 · JFK 10:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.