 |
shrugginGV2EX 第 631790 号会员，加入于 2023-05-30 20:18:06 +08:00 |
| 请教我可以从哪里获取到大量有效的 ipfs 地址呢 问与答 • shrugginG • 5 天前 |
| 有什么可以获取到大量 ipfs.io 地址的方法 程序员 • shrugginG • 6 天前 |
| mysql 小白请教大佬一个问题 MySQL • shrugginG • 64 天前 • 最后回复来自 redog | 18 |
| 为啥 IPv4 很快就耗尽了，而 MAC 地址却没有呢
2 程序员 • shrugginG • 113 天前 • 最后回复来自 cnevil
|
55 |
| 关于一个 http_proxy 与 https_proxy 的问题 宽带症候群 • shrugginG • 199 天前 • 最后回复来自 Penguium | 32 |
| 有无 vscode 的功能或者插件可以满足我的需求 问与答 • shrugginG • 239 天前 |
| 请教有没有对各个技术子领域当下最新技术或框架汇总介绍的网站 问与答 • shrugginG • 250 天前 • 最后回复来自 yanghanlin | 2 |
| 有一个使用场景需要大家推荐一下软路由 路由器 • shrugginG • 251 天前 • 最后回复来自 dnssme | 7 |
shrugginG 最近回复了
15 天前 回复了 sirthisman 创建的主题 › 北京 › 请问在西直门上班，周末要去北京南站回天津。在哪租房通勤和价格比较均衡呢？ |
突然想起了之前实习三个同门挤一个车公庄 2 居月租 9000 的日子
64 天前 回复了 Goalonez 创建的主题 › 问与答 › Windows 下有没有类似 manico 或者 Raycast 一样可以给应用设置快捷键呼出隐藏的，不想用 autohotkey |
同问
65 天前 回复了 shrugginG 创建的主题 › MySQL › mysql 小白请教大佬一个问题 |
@redog 感谢解答，这个内外表的概念我确实没有了解，看来确实该加强学习了哈哈，还有就是 phishy_url 是很多表的汇总表，里面应该是有 300w+的数据量的，所以之前非常慢。
73 天前 回复了 shrugginG 创建的主题 › MySQL › mysql 小白请教大佬一个问题 |
@HolderRoberts
-- auto-generated definition
create table phishy_urls
(
id int auto_increment
primary key,
url varchar(2048) not null,
url_sha256 char(64) not null,
ecrimex tinyint(1) default 0 null,
ecrimex_brand varchar(255) null,
phishtank tinyint(1) default 0 null,
phishtank_brand varchar(255) null,
openphish tinyint(1) default 0 null,
openphish_brand varchar(255) null,
created_at timestamp default CURRENT_TIMESTAMP not null,
is_crawled tinyint(1) default 0 null,
page_url varchar(2048) null,
is_accessible tinyint(1) null,
is_completed tinyint(1) null,
status_code smallint unsigned null,
title varchar(255) collate utf8mb4_unicode_ci null,
ip varchar(39) null,
port int null,
updated_at timestamp default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP,
traffic_captured tinyint(1) default 0 null,
last_crawled_time datetime null,
constraint url_sha256_unique
unique (url_sha256)
);
-- auto-generated definition
create table phishy_urls
(
id int auto_increment
primary key,
url varchar(2048) not null,
url_sha256 char(64) not null,
ecrimex tinyint(1) default 0 null,
ecrimex_brand varchar(255) null,
phishtank tinyint(1) default 0 null,
phishtank_brand varchar(255) null,
openphish tinyint(1) default 0 null,
openphish_brand varchar(255) null,
created_at timestamp default CURRENT_TIMESTAMP not null,
is_crawled tinyint(1) default 0 null,
page_url varchar(2048) null,
is_accessible tinyint(1) null,
is_completed tinyint(1) null,
status_code smallint unsigned null,
title varchar(255) collate utf8mb4_unicode_ci null,
ip varchar(39) null,
port int null,
updated_at timestamp default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP,
traffic_captured tinyint(1) default 0 null,
last_crawled_time datetime null,
constraint url_sha256_unique
unique (url_sha256)
);
76 天前 回复了 shrugginG 创建的主题 › MySQL › mysql 小白请教大佬一个问题 |
@sagaxu 我用 explain 测试过了
```
EXPLAIN
INSERT INTO phishing_intelligence.phishtank_database (phish_id, url, url_sha256, phish_detail_url, submission_time,
verified, verification_time, online, target, etag)
VALUES ('8746113', 'https://free-5477419.webadorsite.com/',
'66c5960b2546bb5d7807213f8d0b6c574ac9b329aca4cc9db6ded49dbc7c4662',
'http://www.phishtank.com/phish_detail.php?phish_id=8746113', '2024-09-06T11:43:49', 'yes',
'2024-09-06T11:53:23', 'yes', 'Other', '7c90038b7ae65365a87c0ef8615e98e4');
```
结果是
```
[
{
"id": 1,
"select_type": "INSERT",
"table": "phishtank_database",
"partitions": null,
"type": "ALL",
"possible_keys": null,
"key": null,
"key_len": null,
"ref": null,
"rows": null,
"filtered": null,
"Extra": null
}
]
```
我看了这应该就是全表扫描了吧，根本没有用到唯一索引
```
EXPLAIN
INSERT INTO phishing_intelligence.phishtank_database (phish_id, url, url_sha256, phish_detail_url, submission_time,
verified, verification_time, online, target, etag)
VALUES ('8746113', 'https://free-5477419.webadorsite.com/',
'66c5960b2546bb5d7807213f8d0b6c574ac9b329aca4cc9db6ded49dbc7c4662',
'http://www.phishtank.com/phish_detail.php?phish_id=8746113', '2024-09-06T11:43:49', 'yes',
'2024-09-06T11:53:23', 'yes', 'Other', '7c90038b7ae65365a87c0ef8615e98e4');
```
结果是
```
[
{
"id": 1,
"select_type": "INSERT",
"table": "phishtank_database",
"partitions": null,
"type": "ALL",
"possible_keys": null,
"key": null,
"key_len": null,
"ref": null,
"rows": null,
"filtered": null,
"Extra": null
}
]
```
我看了这应该就是全表扫描了吧，根本没有用到唯一索引
76 天前 回复了 shrugginG 创建的主题 › MySQL › mysql 小白请教大佬一个问题 |
@ttoh 我还真测试过 drop 掉 url_sha256 的唯一索引，但是测试发现 drop 前后插入速度基本没有区别
76 天前 回复了 shrugginG 创建的主题 › MySQL › mysql 小白请教大佬一个问题 |
@Gilgamesh7 感谢大佬，2s 是不包含获取 url 的时间的，就是单纯的 sql 执行时间
Select Language