V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mhycy  ›  全部回复第 85 页 / 共 186 页
回复总数  3716
1 ... 81  82  83  84  85  86  87  88  89  90 ... 186  
2016-03-13 00:01:41 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
#coding=utf-8
import json
import requests
import re


class spprec(object):
\tdef __init__(self, url):
\t\tself.session = requests.session()
\t\tself.session.headers.update({
\t\t\t'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
\t\t})
\t\tself.url = url
\t\tself.post_data = {}

\tdef getInfo(self, num):
\t\tif len(self.post_data) == 0:
\t\t\tres = self.session.get(self.url)
\t\telse:
\t\t\tself.post_data['__EVENTARGUMENT'] = num
\t\t\tself.post_data["__EVENTTARGET"] = "MoreInfoList1$Pager"
\t\t\tres = self.session.post(url=self.url, data=self.post_data)

\t\tresult = re.findall('<input type="hidden" name="([^"]+)" id="([^"]+)" value="([^"]+)" />', res.text, re.S)
\t\tpost_data = {}
\t\tfor item in result:
\t\t\tpost_data.update({item[0]: item[2]})
\t\tself.post_data = post_data

\t\tresult = re.findall('<a href="(/sczw/InfoDetail/Default.aspx[^"]+)" target="_blank" title="([^"]+)"', res.text, re.S)
\t\treturn result

obj = spprec("http://www.spprec.com/sczw/jyfwpt/005001/005001001/MoreInfo.aspx?CategoryNum=005001001")
for i in xrange(1, 5):
\tdata = obj.getInfo(i)
\tfor item in data:
\t\tprint item[1]

缩进全没了,请自行替换吧,\t 对应 4 个空格或者一个 tab
2016-03-12 23:55:27 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
@dsp2138
看不到就不能留个言么。。囧

#coding=utf-8
import json
import requests
import re

class spprec(object):
def __init__(self, url):
self.session = requests.session()
self.session.headers.update({
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
})
self.url = url
self.post_data = {}

def getInfo(self, num):
if len(self.post_data) == 0:
res = self.session.get(self.url)
else:
self.post_data['__EVENTARGUMENT'] = num
self.post_data["__EVENTTARGET"] = "MoreInfoList1$Pager"
res = self.session.post(url=self.url, data=self.post_data)

result = re.findall('<input type="hidden" name="([^"]+)" id="([^"]+)" value="([^"]+)" />', res.text, re.S)
post_data = {}
for item in result:
post_data.update({item[0]: item[2]})
self.post_data = post_data

result = re.findall('<a href="(/sczw/InfoDetail/Default.aspx[^"]+)" target="_blank" title="([^"]+)"', res.text, re.S)
return result

obj = spprec("http://www.spprec.com/sczw/jyfwpt/005001/005001001/MoreInfo.aspx?CategoryNum=005001001")
for i in xrange(1, 5):
data = obj.getInfo(i)
for item in data:
print item[1]
2016-03-12 23:43:27 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
@dsp2138 已经给你写出来了
2016-03-12 23:25:34 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
@dsp2138 话说,你不是要抓页面么?
2016-03-12 22:52:23 +08:00
回复了 Miro77 创建的主题 程序员 用户成长体系的数据库设计 怎么样才合里呢
需求是啥?成长体系是个啥玩意?
2016-03-12 22:49:41 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
https://gist.github.com/anonymous/e837f2f5d9c6c57d7db8
貌似是 https 才能正常加载。。囧
2016-03-12 22:47:42 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
2016-03-12 22:09:30 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
@dsp2138 要干啥?
2016-03-12 22:03:42 +08:00
回复了 dsp2138 创建的主题 Python POST 请求这样构建对不对?为啥总不成功
能不能说说在干啥?发了那么多次代码没次对的。。。。囧
2016-03-10 23:21:38 +08:00
回复了 spance 创建的主题 宽带症候群 SUFT vs 锐速 100MB 传输测试
@spance
不考虑公平性在现有国情环境下总觉得会被滥用
就像现在的 net-speeder 和 Finalspeed....

是个问题。。囧
以后慢慢改善吧
2016-03-10 23:10:27 +08:00
回复了 spance 创建的主题 宽带症候群 SUFT vs 锐速 100MB 传输测试
@nbndco
协议本身不是事,问题是在特色主义框架下必须考虑的问题太多

就例如现在 @spance 的设计,平稳的延迟和丢包可以保证绝对不会有问题,
但是飘忽变动的延迟、丢包率、包到达顺序,都会有很大的影响。
如果是多路并发的状态,对于丢包不敏感的算法,将会严重影响链路公平性。
(考虑到特色国情, RTT 就不可能是一个相对稳定的数字)
这也是这类算法设计的难点。
2016-03-10 22:56:58 +08:00
回复了 spance 创建的主题 宽带症候群 SUFT vs 锐速 100MB 传输测试
@spance
但是这样的结果就是对链路不敏感。
新增加一个流会推高丢包率,现在的设计在这会能适应么?
另外也有个疑问,低速长延时链路在对端计算速率的时候不会遇到问题么?
2016-03-10 22:31:42 +08:00
回复了 spance 创建的主题 宽带症候群 SUFT vs 锐速 100MB 传输测试
一直没想通一件事,既然是丢包不敏感的算法,那么如何保证公平性呢?
今天中午我的状态和你一样。。。囧
(的确可能是太累了,这周都睡得少)
echo 1.. $a 也不报错
@xiaoban
第二个 1. 解析成浮点数 1.0
2016-03-10 15:39:21 +08:00
回复了 112xiangtao 创建的主题 问与答 bug 解决方案的数据库,有没有这个需求呢
@cfans1993
貌似现在这个数据有个叫 Google 的做得不错。。。。 233
2016-03-10 15:03:33 +08:00
回复了 lixiaohan 创建的主题 程序员 memcache 如何处理大并发的写操作
为啥亿级的数据用的是 memcache 而且要保证一致性?
感觉 memcache 并不是做这事的最佳选择
2016-03-10 14:47:30 +08:00
回复了 112xiangtao 创建的主题 问与答 bug 解决方案的数据库,有没有这个需求呢
@112xiangtao 并没有, BUG 本身都是与实际系统相关的东西。
2016-03-10 14:44:15 +08:00
回复了 112xiangtao 创建的主题 问与答 bug 解决方案的数据库,有没有这个需求呢
BUG 之所以是 BUG 不是解决方案难找,是 BUG 本身难找。。。
1 ... 81  82  83  84  85  86  87  88  89  90 ... 186  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2258 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 48ms · UTC 13:23 · PVG 21:23 · LAX 06:23 · JFK 09:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.