Python每日一题:第5题

By 刘志军 , 2017-11-13, 分类: 每日一题

每日一题 , python

这是Python之禅和他朋友们在知识星球的第5题:设计一个算法,将URL转换成5部分,分别是:schema、netloc、path、query_params、fragment。

问题

URL的中文名叫统一资源定位符,就是咱们常说的网址,设计一个算法,将URL转换成5部分,分别是:schema、netloc、path、query_params、fragment。

<scheme>://<netloc>/<path>?<query_params>#<fragment>

一图胜千言:

url

应用场景

在实际应用场景中,有些聚合网站会把URL里面netloc提取出来。 q5_domain

分析

这里没有什么特别复杂的算法,因为每部分都有一个特别的字符,所以,如果你熟练Python的字符串操作和正则表达式使用的话那么就很简单。

知识点

字符串的常用方法split、find、join、lower、切片的使用,re模块下面的常用方法。另外还有关于如何使用 namedtuple 定义一个简单类的操作

实现

第一种方式使用字符串提供的方法,就是根据关键字符进行切分。整体思路是利用字符串的切片功能不断进行切分,代码稍显复杂。

URL = namedtuple("URL", ["schema", "netloc", "path", "params", "fragment"])

def url_parse1(url):
    assert url.startswith("http")
    # 初始化每部分为空
    schema = netloc = params = fragment = path = None
    # 从 :// 切分 url,前面部分是shema
    i = url.find('://')
    if i > 0:
        schema = url[:i]
        url = url[i + 3:]
        # 获取netloc
        for c in "/?#":  # 三个分隔符的顺利很重要
            a = url.find(c)
            if a > 0:  # 只要有三个字符中的任意字符,立即切分,前部分就是netloc,剩下的部分进行后续处理
                netloc, url = url[0:a], url[a:]
                break
        else:
            netloc, url = url, ''  # 如果三个分隔符都不在url中,那么这是一个只包含
        # 同样的方式获取path
        for c in "?#":
            a = url.find(c)
            if a > 0:
                path, url = url[0:a], url[a:]
                break
        else:
            path, url = url or None, ''
        if "#" in url:
            url, fragment = url.split("#", 1)
        if '?' in url:
            url, params = url.split('?', 1)
    return URL(schema=schema, netloc=netloc, path=path, params=_params_parse(params), fragment=fragment)

def _params_parse(params):
    if not params:
        return None
    pairs = [s for s in params.split('&')]
    param_dict = dict()
    for pair in pairs:
        k, v = pair.split('=', 1)
        param_dict[k] = v
    return param_dict

第二种方式就是用正则表达式,主要考验你写正则的能力

def url_parse2(url):
    rex = r'^(http[s]?):\/\/([^\/\s]+)([\/\w\-\.]+[^#?\s]*)?(\?([^#]*))?(#(.*))?$'
    schema = netloc = params = fragment = path = ''

    pattern = re.compile(rex)
    match = pattern.match(url)
    if match:
        schema = match.group(1)
        netloc = match.group(2)
        path = match.group(3)
        params = match.group(5)
        fragment = match.group(7)
    return URL(schema=schema, netloc=netloc, path=path, params=_params_parse(params), fragment=fragment)

通过正则表达式的分组功能提取每部分,关于正则表达式推荐两个资源

  1. 在线调试正则表达式
  2. Python中正则表达式介绍, 这是一篇比较完整介绍Python中正则表达式的文章,如果你能读懂里面的每句话,并且实践后,你一定能写出上面这样的表达式出来。

当然,你也可以直接使用urlparse模块中现成的方式来实现,只不过这不是我们的初衷。我的完整代码在:


关注公众号「Python之禅」,回复「1024」免费获取Python资源

python之禅

猜你喜欢

2017-11-22
Python每日一题:第6题:如何设计一个代码统计工具
2024-03-04
Python中的 if __name__ == '__main__' 是什么?
2024-03-04
用 Python 破解隔壁老王家的 Wi-Fi 密码,刺激!
2023-06-12
Python3.12新特性
2023-04-17
Python虚拟环境使用
2023-04-15
如何删除macOS系统默认的Python2.7并替换成最新版python3.11
2022-12-09
python 中return和yield有什么区别
2022-08-17
如何利用多态干掉 if else 语句
2022-07-22
10个python初学者常犯的错误
2022-06-10
flask-siwadoc 支持openapi 分组功能