爱意满满的作品展示区。
decaywood

写了一个雪球网爬虫,方便一些炒股的程序员:)

  •  
  •   decaywood ·
    decaywood · Dec 2, 2015 · 16365 views
    This topic created in 4003 days ago, the information mentioned may be changed or developed.

    https://github.com/decaywood/XueQiuSuperSpider
    项目地址如下
    对于股票知识还稍稍欠缺,希望老鸟带我一起多完善完善项目
    目前有游资追踪、股票大 V 统计等等

    Supplement 1  ·  Dec 3, 2015
    更新了按关键字获取雪球网近期热文 URL 功能
    修改了一些发现的 bug
    更新 README~
    :)
    Supplement 2  ·  Dec 7, 2015
    有需要的功能请附加在下面,方便改良程序
    Supplement 3  ·  Dec 8, 2015
    12-8 TODO :统计一阳穿三线个股 预计 1 月分左右 merge 到新一版本中
    Supplement 4  ·  Dec 10, 2015
    代码补全了注释,添加了搜索一阳穿三线个股例子 ;)
    Supplement 5  ·  Dec 10, 2015
    TODO :反爬虫对策 -> 添加分布式爬取功能 预计 3 月份前完成
    Supplement 6  ·  Dec 10, 2015
    TODO :增加 Collector 缓存功能 预计一月份前完成
    Supplement 7  ·  Dec 13, 2015
    12.13 RMI 版本分布式爬虫即将发布
    Supplement 8  ·  Dec 14, 2015
    RMI 分布式版本 beta 版发布:)
    Supplement 9  ·  Dec 25, 2015
    翻译了一篇 java8 的教程,已加入 readme
    54 replies  •  2015-12-25 13:50:06 +08:00
    decaywood
    decaywood
    OP
    Dec 2, 2015
    1
    为什么我刚发的主题马上就到后面去了。。。。
    strahe
    strahe
    Dec 2, 2015
    2
    如果是 python 写的我就一起来写了,无奈不懂 java
    pheyer
    pheyer
    Dec 2, 2015
    3
    同不懂 java , python 就好了
    decaywood
    decaywood
    OP
    Dec 2, 2015
    4
    @strahe
    @pheyer
    正在学习 python ,感觉比 java 友好多了,考虑弄个 python 版的 :)
    Kai
    Kai
    Dec 2, 2015
    5
    moved to /go/create
    feilaoda
    feilaoda
    Dec 2, 2015
    6
    加个 License 先?
    gemchen
    gemchen
    Dec 2, 2015
    7
    started
    qwjhb
    qwjhb
    Dec 2, 2015
    8
    先 star 为敬
    MogoulKahn
    MogoulKahn
    Dec 2, 2015 via iPhone
    9
    希望出个 python 版本的
    decaywood
    decaywood
    OP
    Dec 2, 2015
    10
    @feilaoda 加了个 MIT ,这玩意貌似没用啊,毕竟屁民级别的影响力
    decaywood
    decaywood
    OP
    Dec 2, 2015
    11
    @MogoulKahn 考虑有空写个 python 版
    xiaoyu9527
    xiaoyu9527
    Dec 2, 2015
    12
    @decaywood 求教这个模块怎么用?
    decaywood
    decaywood
    OP
    Dec 2, 2015
    13
    @xiaoyu9527 readme,以及 testcase 里面有例子,实际操作可以随时问我,前提是你有 java8 基础
    Comdex
    Comdex
    Dec 2, 2015
    14
    是 java 的太好了,有空一起完善
    unique
    unique
    Dec 2, 2015
    15
    给卤煮点个赞
    decaywood
    decaywood
    OP
    Dec 2, 2015
    16
    @unique 还需各位鼓励:)
    geeklian
    geeklian
    Dec 2, 2015 via iPhone
    17
    顺路推销自己写的一个类似的爬虫
    https://github.com/liantian-cn/StockNewsGAE

    抓取 feed 上的财经新闻,使第三方库 feedparser 分析。
    对每条纪录,使用 jieba 分词进行关键词提取。
    设置自己关心的关键词,并只显示包含关键词的新闻条目。
    每抓取一个新闻,如果满足某个用户的关键词,则用 PushOver 推送到这个用户的手机端。
    运行在 gae 上.....比 vps 稳定点
    lvcha
    lvcha
    Dec 2, 2015
    18
    楼主想爬什么啊。
    我觉得,公众场合“分享”股票的,不是亏货就是骗子。
    高手都是闷声发大财。分享出来的,基本都带着这种那种的目的的。

    本人码农股民一枚
    langzizx39
    langzizx39
    Dec 2, 2015
    19
    是 java 的很赞啊!因为这类工具的一般都不是 java ,现在好了,可以研究研究了。
    lvcha
    lvcha
    Dec 2, 2015
    20
    所以分析他人以盈利,这个出发点就是错误的。
    我也会分析他人,但是都是出于证伪这个目的。
    decaywood
    decaywood
    OP
    Dec 2, 2015
    21
    @lvcha 谢谢提点,技术分享为主,至于爬下来的数据肯定仅供参考啊,靠这个赚钱岂不是发了。。。
    当然,靠数据分析赚钱的算法肯定是有的,证券公司大多都是程序化交易,能不能赚钱取决于写算法的人,我也只是给个方便的工具而已。那些大 V 靠粉丝赚钱是有可能的,只要跟风的足够多,什么都有可能性
    emric
    emric
    Dec 2, 2015
    22
    点个赞。
    decaywood
    decaywood
    OP
    Dec 2, 2015
    23
    @langzizx39 哈哈 欢迎贡献代码
    welsmann
    welsmann
    Dec 3, 2015
    24
    先 F 为敬
    decaywood
    decaywood
    OP
    Dec 3, 2015
    25
    更新了按关键字获取雪球网近期热文 URL 功能
    修改了一些发现的 bug
    更新 README~
    :)
    4everLoveU
    4everLoveU
    Dec 4, 2015
    26
    居然是 JAVA 版,逃:)

    楼主出了 python 版记得提醒一下,一定 start 研究学习
    decaywood
    decaywood
    OP
    Dec 4, 2015
    27
    @4everLoveU 哈哈,由于自己 python 太屎,暂时没找到优雅点的并行数据抓取方法,先调研调研再考虑开发:)
    c4pt0r
    c4pt0r
    Dec 4, 2015
    28
    优雅的并发,可以参考一下 Go
    shotego
    shotego
    Dec 5, 2015
    29
    等待 python 版
    decaywood
    decaywood
    OP
    Dec 7, 2015
    30
    12-7 --- 添加了游资追踪游资名模糊匹配功能
    vlike
    vlike
    Dec 7, 2015
    31
    不太懂 java , mvn test 跑通了,不过。。。然后呢 :)
    我想让整个系统运行起来请问应该怎么做?
    decaywood
    decaywood
    OP
    Dec 7, 2015
    32
    @vlike 这个系统核心思想就是松散以达到足够的灵活性以及拓展性,并没有把行为进行统一或者规范化,你可以看看 README 里面整个框架的原理还有给出的例子,根据自己的需要对框架已经实现的组件进行自由组合,搜集你需要的数据,最好熟悉一下 java8 :)
    decaywood
    decaywood
    OP
    Dec 7, 2015
    33
    @vlike 每个组件都有自己属性,这些都可以在构造时进行定制,经过定制的组件进行组合会产生截然不同的数据
    decaywood
    decaywood
    OP
    Dec 7, 2015
    34
    @vlike 源码现在还没进行必要的注释,预计在 1 月前更新一版注释版本,不介意等的话请一直关注本项目:)
    Comdex
    Comdex
    Dec 7, 2015
    35
    加个情感度分析功能,还有股票关联信息
    shidenggui
    shidenggui
    Dec 8, 2015
    36
    写了个 Python 的,可以通过 Web 进行简单的股票交易
    https://github.com/shidenggui/easytrader
    decaywood
    decaywood
    OP
    Dec 8, 2015
    37
    @Comdex 股票信息现在已经比较完善了,情感度是啥意思?
    vlike
    vlike
    Dec 8, 2015
    38
    @decaywood 感谢!会一直关注
    Comdex
    Comdex
    Dec 8, 2015
    39
    @decaywood 分析股票相关信息是正面还是负面,或者说看涨 or 看跌
    decaywood
    decaywood
    OP
    Dec 8, 2015
    40
    @Comdex 个股的相关讨论内容分析吗?有意思,可以做一做,不过难度有点大啊,除了通过字典库来分析,估计只能进行深度学习了,并且散户的情绪反向指标的可能性比较大,个人觉得没啥价值
    decaywood
    decaywood
    OP
    Dec 10, 2015
    41
    代码补全了注释,添加了搜索一阳穿三线个股例子
    decaywood
    decaywood
    OP
    Dec 10, 2015
    42
    更新了 master 分支
    raysmond
    raysmond
    Dec 13, 2015
    43
    只想问一下, lz 使用这个工具股票收益有提高吗?
    decaywood
    decaywood
    OP
    Dec 13, 2015
    44
    模拟盘 180%收益,实盘深套中。。。,现在只敢说选股方便很多,至于赚钱这个还要长时间验证
    decaywood
    decaywood
    OP
    Dec 13, 2015
    45
    @raysmond 模拟盘 180%收益,实盘深套中。。。,现在只敢说选股方便很多,至于赚钱这个还要长时间验证
    raysmond
    raysmond
    Dec 13, 2015
    46
    @decaywood 我实盘也深套了,今年进来腰斩了。
    decaywood
    decaywood
    OP
    Dec 13, 2015
    47
    @raysmond 我是根据这个程序买的,发掘到信息发展这种股票(当时这只股大 V 关注度上升很快),导致模拟盘收益这两个月涨幅将近 2 倍,当然,我对自己的程序真心不自信,实盘并没有追..... 哎,都是泪
    mew7wo
    mew7wo
    Dec 14, 2015
    48
    我是股民,交易方面还算可以。我觉得光靠程序化的结果来交易是难赚钱的。主要还得人为交易为主,程序化结果做辅助决策。
    decaywood
    decaywood
    OP
    Dec 14, 2015
    49
    @mew7wo 没错,程序选股为辅助手段,交易事在人为
    mew7wo
    mew7wo
    Dec 14, 2015
    50
    雪球的信息用来选股用处不大,楼主可以去搜搜 tushare
    decaywood
    decaywood
    OP
    Dec 14, 2015
    51
    @mew7wo 以前看过,但是大多接口貌似要付费啊?而且是基于 python 的
    superares
    superares
    Dec 14, 2015
    52
    @decaywood 模拟盘要注意是否用到了未来函数,这个会影响模拟的效果的
    decaywood
    decaywood
    OP
    Dec 14, 2015
    53
    @superares 不是很懂未来函数,我的模拟盘主要还是根据主力动向还有舆论进行分析来买卖的,一般是中长线操作
    decaywood
    decaywood
    OP
    Dec 25, 2015
    54
    翻译了一篇 java8 教程
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1036 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 142ms · UTC 22:12 · PVG 06:12 · LAX 14:12 · JFK 17:12
    ♥ Do have faith in what you're doing.