首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  shidifen  ›  全部回复第 1 页 / 共 2 页
回复总数  28
1  2  
❮ ❯
2018-01-10 21:54:23 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
已经解决，非常感谢
2018-01-09 22:52:49 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
多谢！！！！
2018-01-09 22:52:30 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
好的，我试试看。
2018-01-09 22:13:38 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
sql 不同，返回的结构可以不同。
2018-01-09 22:12:50 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
比如下面的例子：
import psqlparse
query=r"select (b.script_name),'中' from (select * from temp.halfisolateworkjob20171221) a left join (select * from temp.script2table) b on a.schema_name||'.'||a.table_name=b.table_name where a.create_time <'20171201' and a.owner='app_vgop' and schema_name='SESSION' and process_flag=false and b.script_name is not null order by 1"

query2=r"insert into dis.td_bd_area_info_d SELECT A.DEAL_DATE,A.INT_ID,A.ZH_LABEL,A.COUNTY_ID, B.ZH_LABEL OUNTY_NAME,B.CITY_ID,case when B.city_id = '40' then '邢台市' when B.city_id = '33' then '秦皇岛市' when B.city_id = '41' then '邯郸市' when B.city_id = '34' then '沧州市' when B.city_id = '36' then '廊坊市' when B.city_id = '32' then '石家庄市' when B.city_id = '37' then '张家口市' when B.city_id = '38' then '保定市' when B.city_id = '42' then '唐山市' when B.city_id = '43' then '衡水市' when B.city_id = '39' then '承德市'ELSE '其他' END ,CASE WHEN A.CELL_SOURCE in ('铁通割接','无线宽带','新国标','自建','自建无线宽带') and A.COVER_TYPE IN ('0','1','2','3') THEN '自建有线' WHEN A.CELL_SOURCE in ('铁通割接','无线宽带','新国标','自建','自建无线宽带') and A.COVER_TYPE IN ('4') THEN '自建无线(WLAN)' WHEN A.CELL_SOURCE in ('铁通割接','无线宽带','新国标','自建','自建无线宽带') and A.COVER_TYPE IN ('6') THEN '自建无线（ 4G ）' WHEN A.CELL_SOURCE in ('铁通割接','无线宽带','新国标','自建','自建无线宽带') and A.COVER_TYPE IN ('6') THEN '自建无线（ 4G ）' WHEN A.CELL_SOURCE in ('第三方割接','第三方无线宽带') and A.COVER_TYPE IN ('0','1','2','3') THEN '三方有线' WHEN A.CELL_SOURCE in ('第三方割接','第三方无线宽带') and A.COVER_TYPE IN ('4') THEN '三方无线（ WLAN ）' else '其他' end,case when A.AREA_TYPE = '市区(含县城)' then '市区' when A.AREA_TYPE = '乡镇(含城乡结合部)' then '乡镇' when A.AREA_TYPE = '农村' then '农村' else '其他' end,A.CELL_SOURCE,A.COVER_TYPE,A.HOUSE_NUM,ROW_NUMBER() OVER (PARTITION BY A.INT_ID ORDER BY A.MODIFY_TIME DESC , B.MODIFY_TIME DESC ) RN FROM DW.TD_RMS_ADD_CELL_D A LEFT JOIN DW.TD_RMS_COUNTY_D B ON A.COUNTY_ID = B.INT_ID AND B.DEAL_DATE = 20170101 where A.DEAL_DATE = 20170101;"
statements = psqlparse.parse(query1)


used_tables = statements[0]
dir(used_tables.from_clause.items[0])
\每一个 sql 的内容不同，返回的值也是不同的，下面这个在简单的 sql 中可以，所以我必须得到 statements 的全部内部，或者是遍历它，否则不知道结构，无法处理。
2018-01-09 21:37:59 +08:00
回复了 shidifen 创建的主题 › Python › 如何遍历一个复杂的对象结构
我使用了，__dict__，有没有更好的办法。
2016-11-18 18:30:28 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
准备换一种方法再测试一次。
2016-11-18 18:30:00 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
忘记说了，其实我们使用 iperf 测试过网卡的，带宽完全没有问题，只是测试的时候也有错包。
2016-09-26 15:29:10 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
寨卡的问题，可能是解决了。我们从 dell 要了主机和网卡 ppid 的对应关系，可以与现网的设备进行核对。
2016-09-23 14:19:44 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic 现在整个库有点慢，我不知道是否和我修改那个参数有关系，想问一下，如果想回退手工绑定的方式，直接把 irqbalance 开起来就可以了吧，因为没有看到别的地方有说这个，如果真是改了参数，但是传输速率下来了，那还得改回去。
另外，有一些文档提到这个，有什么建议么？
echo fffffe > /sys/class/net/em1/queues/rx-0/rps_cpus echo fffffe > /sys/class/net/em1/queues/rx-1/rps_cpus echo fffffe > /sys/class/net/em1/queues/rx-2/rps_cpus echo fffffe > /sys/class/net/em1/queues/rx-3/rps_cpus echo 4096 > /sys/class/net/em1/queues/rx-0/rps_flow_cnt echo 4096 > /sys/class/net/em1/queues/rx-1/rps_flow_cnt echo 4096 > /sys/class/net/em1/queues/rx-2/rps_flow_cnt echo 4096 > /sys/class/net/em1/queues/rx-3/rps_flow_cnt echo 4096 > /sys/class/net/em1/queues/rx-4/rps_flow_cnt echo 20480 > /proc/sys/net/core/rps_sock_flow_entries
对于 2 个物理 cpu,8 核的机器为 ff ，具体计算方法是第一颗 cpu 是 00000001 ，第二个 cpu 是 00000010 ，第 3 个 cpu 是 00000100 ，依次类推，由于是所有的 cpu 都负担，所以所有的 cpu 数值相加，得到的数值为 11111111 ，十六进制就刚好是 ff 。而对于 /proc/sys/net/core/rps_sock_flow_entries 的数值是根据你的
tob_id_2536
网卡多少个通道，计算得出的数据，例如你是 8 通道的网卡，那么 1 个网卡，每个通道设置 4096 的数值， 8*4096 就是
/proc/sys/net/core/rps_sock_flow_entries 的数值 中断合并 ethtool -c em1
2016-09-23 11:23:11 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic ，能否有排除一下寨卡的方法，说实话，我一直对于这部分不太放心，别我们费了好大劲，栽这上面。
2016-09-23 10:52:19 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
而且做了修改的那两个节点，确实是只前 8 个核的 cpu si 有值，其它的核这个值就没有，是否能够增加队列，这样可以有更多的核参与中断？
2016-09-23 10:45:12 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic ，神啊，我看了下，确实有一点改善，但是现在还是有报错，还有什么建议么？
2016-09-22 16:26:39 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic 大神，我把 ring_buffer 也改了，有所改善，我再观察，有问题再说。
2016-09-22 14:57:47 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
做完了后， cpu si 有下降，但是 rx error 和 overrun 还在增长，我在观察。
2016-09-22 14:56:41 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic 我按您提供的手册找了两个节点，这样做的：

```
service irq_balancer stop
echo "1"> /proc/irq/191/smp_affinity
echo "2"> /proc/irq/192/smp_affinity
echo "4"> /proc/irq/193/smp_affinity
echo "8"> /proc/irq/194/smp_affinity
echo "16"> /proc/irq/195/smp_affinity
echo "20"> /proc/irq/196/smp_affinity
echo "40"> /proc/irq/197/smp_affinity
echo "80"> /proc/irq/198/smp_affinity
```
2016-09-22 10:57:03 +08:00
回复了 yuedingwangji 创建的主题 › DevOps › 万兆网卡 RX DROP 率近 33% 求帮忙分析：
@yuedingwangji 我也有一个类似的问题，地址是 https://www.v2ex.com/t/307630#reply13 ，能帮忙给看不？我很想知道：最后如何识别是寨卡的，能留个 qq 不，我也是给移动做项目的。
2016-09-22 10:18:21 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
@redsonic ，大神，我有 32 核 CPU ，但是按您给的手册中说的，只有 8 个中断队列，那只能手工绑定到 8 个 cpu ，不是不如 irqbalance ，那个至少还可以占用 16 个核？
另外， ring_buffer 是否需要调大？
Ring parameters for p4p2:
Pre-set maximums:
RX: 4078
RX Mini: 0
RX Jumbo: 0
TX: 4078
Current hardware settings:
RX: 453
RX Mini: 0
RX Jumbo: 0
TX: 4078
2016-09-22 09:45:51 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
```
cat /proc/interrupts |grep p4p2 我用 ue 看了看，还是很有规律的。
189: 23 1910 0 23712 0 5819 0 17237 0 5376 0 56987 0 99061 0 8446 0 210719 0 17656 0 9158 0 10846 0 15137 0 304803 0 390534 0 774799 IR-PCI-MSI-edge p4p2
191: 3 1790680 0 10616665 0 62155547 0 51990594 0 28726188 0 4981410 0 14502611 0 73392654 0 1514807584 0 50490160 0 36799635 0 31323666 0 34551994 0 1841649566 0 4080397994 0 645370109 IR-PCI-MSI-edge p4p2-fp-0
192: 3 10001905 0 59523308 0 91985518 0 127790073 0 226232145 0 68948743 0 53568007 0 139196477 0 2199357135 0 17363297 0 106875992 0 192090680 0 207748476 0 4157890819 0 75973239 0 522926553 IR-PCI-MSI-edge p4p2-fp-1
193: 3 17101328 0 276032420 0 406790277 0 582324878 0 341336810 0 587700803 0 273444019 0 626032634 0 1015882162 0 639888141 0 1073516044 0 592148466 0 423007262 0 89076476 0 778398606 0 869867536 IR-PCI-MSI-edge p4p2-fp-2
194: 3 40280877 0 382936413 0 525153622 0 639028845 0 463062554 0 375178493 0 522825186 0 776598788 0 146472313 0 575108019 0 646425393 0 777351438 0 755557817 0 53563221 0 480382819 0 968528415 IR-PCI-MSI-edge p4p2-fp-3
195: 3 19157407 0 462878595 0 700714489 0 578481977 0 587614373 0 603026304 0 449605352 0 601554280 0 726230782 0 605540303 0 768006014 0 539097451 0 1099203513 0 80342630 0 170116494 0 482882557 IR-PCI-MSI-edge p4p2-fp-4
196: 11 326794259 0 2075443900 0 1914823036 0 1712511864 0 1491815039 0 768009701 0 626173817 0 1033024867 0 1303540739 0 1654168784 0 1458276685 0 1366877077 0 997404728 0 3603056177 0 15650855 0 1529467882 IR-PCI-MSI-edge p4p2-fp-5
197: 3 51207795 0 1381837753 0 542946245 0 1060608865 0 701987854 0 399374560 0 335176577 0 408752021 0 125841732 0 679175184 0 724132714 0 587519037 0 446235402 0 172909262 0 164639268 0 580566984 IR-PCI-MSI-edge p4p2-fp-6
198: 3 36012441 0 1134119927 0 812983145 0 883702589 0 1064498302 0 208541493 0 415344892 0 631032811 0 75737917 0 317337699 0 688038432 0 503944441 0 698137741 0 27688040 0 313802737 0 413330289 IR-PCI-MSI-edge p4p2-fp-7
```
2016-09-22 09:41:25 +08:00
回复了 shidifen 创建的主题 › 问与答 › dell r730 安装 Gp 后万兆网卡有 rx error
1. 大神，确实这个集群的机器是在跑 greenplum 的数据库，所以 wa 会有一些。
2. irqbalance 确实开着，全关了，然后被拉去开会，回来一看立时就看到 cpu si 集中到一个核上了，所以只好先打开，我看看文档争取一下把绑定全做了，幸亏开始的时候在上面部署了 salt ，不然一个人一个个做过去，死了。
3. 如何确认寨卡，我看 intel 的还有个程序可以检测，我们用的是 Broadcom BCM57810 10 Gigabit Ethernet ，供货商是个 js ，这个有办法识别是否寨卡，我看 taotao 上卖这个挺多，不敢说会不会是，光模块看了，是马来产
1  2  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5252 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 09:37 · PVG 17:37 · LAX 02:37 · JFK 05:37
Developed with CodeLauncher
♥ Do have faith in what you're doing.