luofeiyu - SegmentFault 思否

luofeiyu 提出了问题 · 2月1日

xueqiu的数据无法抓取

发现雪球的网站厉害了，用python + selenium无法抓取，然后听说了一个大神器 python + mitmproxy + chrome浏览器，结果发现，还是会被ban,我想知道雪球是如何探测chrome被程序操控的呢？

cat  addons.py
import mitmproxy.http
from mitmproxy import ctx

url_paths = '/s/?page='
class Jobinfo:
    def response(self, flow: mitmproxy.http.HTTPFlow):
        if flow.request.path.startswith(url_paths):
            text = flow.response.get_text()
            file_handle=open('target.txt',mode='a')
            file_handle.write(text)
            file_handle.write('\n')
            file_handle.write('\n')
            file_handle.close()
        return    
addons = [Jobinfo()]

开启

mitmdump  -s addons.py

开启浏览器

google-chrome  --proxy-server=127.0.0.1:8080 --ignore-certificate-errors

下面的链接打开后
https://xueqiu.com/s/?page=1&...

target.txt没有需要的那个表格数据，都是其他的东东

发现雪球的网站厉害了，用python + selenium无法抓取，然后听说了一个大神器 python + mitmproxy + chrome浏览器，结果发现，还是会被ban,我想知道雪球是如何探测chrome被程序操控的呢？

关注 1 回答 0

luofeiyu 提出了问题 · 2020-12-03

如何写这个查询？

show columns from quote;

Field	Type	Null	Key	Default	Extra
id	int(8) unsigned	NO	PRI	NULL	auto_increment
code	text	YES		NULL
date	date	YES		NULL
open	double	YES		NULL
high	double	YES		NULL
low	double	YES		NULL
close	double	YES		NULL
volume	bigint(20)	YES		NULL

select code,max(date) as date from quote group by code;

可以找出每个 code 组里面对应的最大date.
我现在想找出每个组中，最大的date，对应的其他条字段记录，我写成下面的方式

create table b SELECT code,max(date) as date from quote group by code ;
select * from quote as a , b where a.code = b.code and a.date = b.date;

效率很低，请问，如何改进？

create table b SELECT code,max(date) as date from quote group by code ;select * from quote as a , b where a.code = b.code and a.date = b.date;

关注 2 回答 1

luofeiyu 提出了问题 · 2020-12-03

如何写这个查询？

show columns from quote;

Field	Type	Null	Key	Default	Extra
id	int(8) unsigned	NO	PRI	NULL	auto_increment
code	text	YES		NULL
date	date	YES		NULL
open	double	YES		NULL
high	double	YES		NULL
low	double	YES		NULL
close	double	YES		NULL
volume	bigint(20)	YES		NULL

select code,max(date) as date from quote group by code;

可以找出每个 code 组里面对应的最大date.
我现在想找出每个组中，最大的date，对应的其他条字段记录，我写成下面的方式

create table b SELECT code,max(date) as date from quote group by code ;
select * from quote as a , b where a.code = b.code and a.date = b.date;

效率很低，请问，如何改进？

create table b SELECT code,max(date) as date from quote group by code ;select * from quote as a , b where a.code = b.code and a.date = b.date;

关注 2 回答 1

luofeiyu 提出了问题 · 2020-10-19

为何无法对p使用css 的align

<div id="header">
    <img data-original="images/logo.png" alt="" align="left">
    <p align="right">
        旅游首页 &nbsp;&nbsp;|&nbsp;&nbsp;登录&nbsp;&nbsp;|&nbsp;&nbsp;注册
    </p>
</div>

图片左边，文字右边，

现在我将行内css 改写：

div#header img{
    align:left;
}
div#header p{
    text-align:right;
}

html也改写

<div id="header">
    <img data-original="images/logo.png" alt="">
    <p>
        旅游首页 &nbsp;&nbsp;|&nbsp;&nbsp;登录&nbsp;&nbsp;|&nbsp;&nbsp;注册
    </p>
</div>

效果成了这样

为何

 div#header p{
    text-align:right;
}

将图片排在div#header外面了？

{代码...} 图片左边，文字右边，现在我将行内css 改写： {代码...} html也改写 {代码...} 效果成了这样为何 {代码...} 将图片排在div#header外面了？

关注 3 回答 2

luofeiyu 提出了问题 · 2020-10-16

`<!DOCTYPE html>
<html>
<body>
<p id="demo">点击这个按钮，获得您的坐标：</p>
<button onclick="getLocation()">试一下</button>
<script>
var x=document.getElementById("demo");
function getLocation()
{
if (navigator.geolocation)

{
navigator.geolocation.getCurrentPosition(showPosition);
}

else{x.innerHTML="Geolocation is not supported by this browser.";}
}
function showPosition(position)
{
x.innerHTML="Latitude: " + position.coords.latitude +
"
Longitude: " + position.coords.longitude;
}
</script>
</body>
</html>`

上面的代码为何没有任何输出显示？

`<!DOCTYPE html><html><body><p id="demo">点击这个按钮，获得您的坐标：</p><button onclick="getLocation()">试一下</button><script>var x=document.getElementById("demo");function getLocation() { if (navi...

关注 4 回答 3

luofeiyu 提出了问题 · 2020-10-10

如何滚动这个图片？

window.onload = function(){
    function move(){
        var speed = 500;
        var imgbox = document.getElementById("imgbox");
        imgbox.innerHTML += imgbox.innerHTML;
        var span = imgbox.getElementsByTagName("span");
        var timer = window.setInterval(marquee,speed);

        function marquee(){
            console.log(imgbox.scrollLeft);
            console.log(span[0].offsetWidth);
            if( imgbox.scrollLeft > span[0].offsetWidth){
                imgbox.scrollLeft = 0;
            }else{
                ++imgbox.scrollLeft;
                console.log("in else block");
                console.log(imgbox.scrollLeft);
                }
        }
    }
    move();
}

div{
    width: 933px;
    height: 129px;
    border: 1px solid red;
    overflow:hidden;
}

 <div id="imgbox">
    <span>
        <a href=""><img data-original="https://i.stack.imgur.com/b7J9w.jpg" alt=""></a>
        <a href=""><img data-original="https://i.stack.imgur.com/yh7YJ.jpg" alt=""></a>
        <a href=""><img data-original="https://i.stack.imgur.com/5uIog.jpg" alt=""></a>
        <a href=""><img data-original="https://i.stack.imgur.com/r5GCW.jpg" alt=""></a>
    </span>
</div>

从输出结果来看，

js 在else模块中运行，但是为何 imgbox.scrollLeft的值不增加呢？

{代码...}  {代码...}  {代码...} 从输出结果来看，js 在else模块中运行，但是为何 imgbox.scrollLeft的值不增加呢？

关注 2 回答 1

luofeiyu 提出了问题 · 2020-10-06

如何实现这种服务？

我有个vps,本机上有个目录share,只要本机上的这个share目录有新的文件，就立即上传到vps上。请问，如何做到？

关注 1 回答 0

luofeiyu 回答了问题 · 2020-09-30

[^]+这个匹配什么呢？

想通了，匹配任意字符反复多次出现

关注 3 回答 3

luofeiyu 提出了问题 · 2020-09-30

[^]+这个匹配什么呢？

^匹配开始
[^a-z]  不是a-z的小写字母
+ 表示多次出现

[^]+ 在javascript中，这个匹配什么呢？

{代码...} [^]+ 在javascript中，这个匹配什么呢？

关注 3 回答 3

luofeiyu 赞了回答 · 2020-09-30

为何无法用正则表达式提取html?

.不匹配换行符

html.replace(/<script type="text\/javascript">[^]+<\/script>/, '')

.不匹配换行符 {代码...}

关注 3 回答 3

luofeiyu 查看完整档案

社区属性

高分内容

个人动态

xueqiu的数据无法抓取

如何写这个查询？

如何写这个查询？

为何无法对p使用css 的align

无法获得地理位置

如何滚动这个图片？

如何实现这种服务？

[^]+这个匹配什么呢？

[^]+这个匹配什么呢？

为何无法用正则表达式提取html?

认证与成就

发布 0 项课程

擅长技能
编辑

开源项目 & 著作
编辑

社区属性

高分内容

个人动态

认证与成就

发布 0 项课程

擅长技能 编辑

开源项目 & 著作 编辑

擅长技能
编辑

开源项目 & 著作
编辑