python – Add single certificate to requests – Stack Overflow

Question

Мне нужно написать скрипт, который подключается к группе сайтов в нашей корпоративной интрасети по протоколу HTTPS и проверяет, действительны ли их сертификаты SSL; что срок их действия не истек, что они выданы для правильного адреса и т. д. Мы используем наш собственный внутренний корпоративный центр сертификации для этих сайтов, поэтому у нас есть открытый ключ CA для проверки сертификатов.

Python по умолчанию просто принимает и использует сертификаты SSL при использовании HTTPS, поэтому даже если сертификат недействителен, библиотеки Python, такие как urllib2 и Twisted, просто с радостью будут использовать этот сертификат.

Есть ли где-нибудь хорошая библиотека, которая позволит мне подключиться к сайту через HTTPS и таким образом проверить его сертификат?

Как проверить сертификат в Python?

Answer 1

Начиная с версии 2.7.9 / 3.4.3, Python по умолчанию пытается выполнить проверку сертификата.

Это было предложено в PEP 467, которую стоит прочитать: https://www.python.org/dev / Peps / PEP- 0476 /

Изменения затрагивают все соответствующие модули stdlib (urllib / urllib2, http, httplib).

Соответствующая документация:

https://docs.python.org/2/library/httplib.html#httplib.HTTPSConnection

Этот класс теперь выполняет все необходимые проверки сертификатов и имен хостов по умолчанию. Чтобы вернуться к предыдущему непроверенному поведению, ssl._create_unverified_context () может быть передан параметру context.

https://docs.python.org/3/library/http.client.html#http.client.HTTPSConnection

Изменено в версии 3.4.3: Этот класс теперь выполняет все необходимые проверки сертификатов и имен хостов по умолчанию. Чтобы вернуться к предыдущему непроверенному поведению, ssl._create_unverified_context () может быть передан параметру context.

Обратите внимание, что новая встроенная проверка основана на базе данных сертификатов , предоставленной системой . В противоположность этому, пакет запросов содержит собственный пакет сертификатов. Плюсы и минусы обоих подходов обсуждаются в разделе База данных доверия ОПТОСОЗ 476.

Answer 2

Вы можете использовать Twisted для проверки сертификатов. Основным API является CertificateOptions, который может быть предоставляется в качестве аргумента contextFactory для различных функций, таких как listenSSL и startTLS .

К сожалению, ни в Python, ни в Twisted нет ни одного набора сертификатов CA, необходимых для проверки HTTPS, ни логики проверки HTTPS. Из-за ограничения в PyOpenSSL вы пока не можете сделать это полностью правильно, но благодаря тому, что почти все сертификаты включают тему commonName, вы можете подобраться достаточно близко.

Вот наивный пример реализации проверяющего клиента Twisted HTTPS, который игнорирует подстановочные знаки и расширения subjectAltName и использует сертификаты центра сертификации, присутствующие в пакете ‘ca-Certificates’ в большинстве дистрибутивов Ubuntu. Попробуйте это с вашими любимыми действительными и недействительными сертификатами сайтов :).

import os
import glob
from OpenSSL.SSL import Context, TLSv1_METHOD, VERIFY_PEER, VERIFY_FAIL_IF_NO_PEER_CERT, OP_NO_SSLv2
from OpenSSL.crypto import load_certificate, FILETYPE_PEM
from twisted.python.urlpath import URLPath
from twisted.internet.ssl import ContextFactory
from twisted.internet import reactor
from twisted.web.client import getPage
certificateAuthorityMap = {}
for certFileName in glob.glob("/etc/ssl/certs/*.pem"):
    # There might be some dead symlinks in there, so let's make sure it's real.
    if os.path.exists(certFileName):
        data = open(certFileName).read()
        x509 = load_certificate(FILETYPE_PEM, data)
        digest = x509.digest('sha1')
        # Now, de-duplicate in case the same cert has multiple names.
        certificateAuthorityMap[digest] = x509
class HTTPSVerifyingContextFactory(ContextFactory):
    def __init__(self, hostname):
        self.hostname = hostname
    isClient = True
    def getContext(self):
        ctx = Context(TLSv1_METHOD)
        store = ctx.get_cert_store()
        for value in certificateAuthorityMap.values():
            store.add_cert(value)
        ctx.set_verify(VERIFY_PEER | VERIFY_FAIL_IF_NO_PEER_CERT, self.verifyHostname)
        ctx.set_options(OP_NO_SSLv2)
        return ctx
    def verifyHostname(self, connection, x509, errno, depth, preverifyOK):
        if preverifyOK:
            if self.hostname != x509.get_subject().commonName:
                return False
        return preverifyOK
def secureGet(url):
    return getPage(url, HTTPSVerifyingContextFactory(URLPath.fromString(url).netloc))
def done(result):
    print 'Done!', len(result)
secureGet("https://google.com/").addCallback(done)
reactor.run()

Answer 3

Я добавил дистрибутив в индекс пакетов Python, который делает функцию match_hostname() из пакета Python 3.2 ssl доступной в предыдущих версиях Python.

http://pypi.python.org/pypi/backports.ssl_match_hostname/

Вы можете установить его с помощью:

pip install backports.ssl_match_hostname

Или вы можете сделать это зависимостью, перечисленной в setup.py вашего проекта. В любом случае, его можно использовать так:

from backports.ssl_match_hostname import match_hostname, CertificateError
...
sslsock = ssl.wrap_socket(sock, ssl_version=ssl.PROTOCOL_SSLv3,
                      cert_reqs=ssl.CERT_REQUIRED, ca_certs=...)
try:
    match_hostname(sslsock.getpeercert(), hostname)
except CertificateError, ce:
    ...

Answer 4

PycURL делает это прекрасно.

Про сертификаты: Neomid 450-1 / Неомид 450-1 Огнебиозащита I группа 30, красный в Москве

Ниже приведен краткий пример. Он выдаст pycurl.error, если что-то подозрительно, где вы получите кортеж с кодом ошибки и удобочитаемое сообщение.

import pycurl

curl = pycurl.Curl()
curl.setopt(pycurl.CAINFO, "myFineCA.crt")
curl.setopt(pycurl.SSL_VERIFYPEER, 1)
curl.setopt(pycurl.SSL_VERIFYHOST, 2)
curl.setopt(pycurl.URL, "https://internal.stuff/")

curl.perform()

Возможно, вы захотите настроить больше параметров, например, где хранить результаты и т. Д. Но нет необходимости загромождать пример несущественными.

Пример того, какие исключения могут возникнуть:

(60, 'Peer certificate cannot be authenticated with known CA certificates')
(51, "common name 'CN=something.else.stuff,O=Example Corp,C=SE' does not match 'internal.stuff'")

Некоторые ссылки, которые я нашел полезными, это libcurl-docs для setopt и getinfo.

Answer 5

Jython выполняет проверку сертификата по умолчанию, поэтому использует стандартные библиотечные модули, например, httplib.HTTPSConnection и т. д. с помощью jython проверит сертификаты и выдаст исключения для сбоев, т. е. несоответствующих идентификаторов, просроченных сертификатов и т. д.

Фактически, вам нужно проделать дополнительную работу, чтобы заставить jython вести себя как cpython, то есть чтобы заставить jython НЕ проверять сертификаты.

Я написал сообщение в блоге о том, как отключить проверку сертификатов в jython, потому что это может быть полезно на этапах тестирования и т. Д.

Установка надежного поставщика безопасности на Java и Jython.
http: //jython.xhaus. ком / установка – ан- все – доверяя – безопасности поставщик -на- Java – и – Jython /

Answer 6

Следующий код позволяет вам воспользоваться всеми проверками SSL-проверки (например, срок действия даты, цепочка сертификатов CA …) ЗА ИСКЛЮЧЕНИЕМ этапа сменной проверки, например, проверить имя хоста или выполнить другие дополнительные шаги по проверке сертификата.

from httplib import HTTPSConnection
import ssl


def create_custom_HTTPSConnection(host):

    def verify_cert(cert, host):
        # Write your code here
        # You can certainly base yourself on ssl.match_hostname
        # Raise ssl.CertificateError if verification fails
        print 'Host:', host
        print 'Peer cert:', cert

    class CustomHTTPSConnection(HTTPSConnection, object):
        def connect(self):
            super(CustomHTTPSConnection, self).connect()
            cert = self.sock.getpeercert()
            verify_cert(cert, host)

    context = ssl.create_default_context()
    context.check_hostname = False
    return CustomHTTPSConnection(host=host, context=context)


if __name__ == '__main__':
    # try expired.badssl.com or self-signed.badssl.com !
    conn = create_custom_HTTPSConnection('badssl.com')
    conn.request('GET', '/')
    conn.getresponse().read()

Answer 7

Вот пример сценария, который демонстрирует проверку сертификата:

import httplib
import re
import socket
import sys
import urllib2
import ssl

class InvalidCertificateException(httplib.HTTPException, urllib2.URLError):
    def __init__(self, host, cert, reason):
        httplib.HTTPException.__init__(self)
        self.host = host
        self.cert = cert
        self.reason = reason

    def __str__(self):
        return ('Host %s returned an invalid certificate (%s) %sn' %
                (self.host, self.reason, self.cert))

class CertValidatingHTTPSConnection(httplib.HTTPConnection):
    default_port = httplib.HTTPS_PORT

    def __init__(self, host, port=None, key_file=None, cert_file=None,
                             ca_certs=None, strict=None, **kwargs):
        httplib.HTTPConnection.__init__(self, host, port, strict, **kwargs)
        self.key_file = key_file
        self.cert_file = cert_file
        self.ca_certs = ca_certs
        if self.ca_certs:
            self.cert_reqs = ssl.CERT_REQUIRED
        else:
            self.cert_reqs = ssl.CERT_NONE

    def _GetValidHostsForCert(self, cert):
        if 'subjectAltName' in cert:
            return [x[1] for x in cert['subjectAltName']
                         if x[0].lower() == 'dns']
        else:
            return [x[0][1] for x in cert['subject']
                            if x[0][0].lower() == 'commonname']

    def _ValidateCertificateHostname(self, cert, hostname):
        hosts = self._GetValidHostsForCert(cert)
        for host in hosts:
            host_re = host.replace('.', '.').replace('*', '[^.]*')
            if re.search('^%s$' % (host_re,), hostname, re.I):
                return True
        return False

    def connect(self):
        sock = socket.create_connection((self.host, self.port))
        self.sock = ssl.wrap_socket(sock, keyfile=self.key_file,
                                          certfile=self.cert_file,
                                          cert_reqs=self.cert_reqs,
                                          ca_certs=self.ca_certs)
        if self.cert_reqs & ssl.CERT_REQUIRED:
            cert = self.sock.getpeercert()
            hostname = self.host.split(':', 0)[0]
            if not self._ValidateCertificateHostname(cert, hostname):
                raise InvalidCertificateException(hostname, cert,
                                                  'hostname mismatch')


class VerifiedHTTPSHandler(urllib2.HTTPSHandler):
    def __init__(self, **kwargs):
        urllib2.AbstractHTTPHandler.__init__(self)
        self._connection_args = kwargs

    def https_open(self, req):
        def http_class_wrapper(host, **kwargs):
            full_kwargs = dict(self._connection_args)
            full_kwargs.update(kwargs)
            return CertValidatingHTTPSConnection(host, **full_kwargs)

        try:
            return self.do_open(http_class_wrapper, req)
        except urllib2.URLError, e:
            if type(e.reason) == ssl.SSLError and e.reason.args[0] == 1:
                raise InvalidCertificateException(req.host, '',
                                                  e.reason.args[1])
            raise

    https_request = urllib2.HTTPSHandler.do_request_

if __name__ == "__main__":
    if len(sys.argv) != 3:
        print "usage: python %s CA_CERT URL" % sys.argv[0]
        exit(2)

    handler = VerifiedHTTPSHandler(ca_certs = sys.argv[1])
    opener = urllib2.build_opener(handler)
    print opener.open(sys.argv[2]).read()

python – Add single certificate to requests – Stack Overflow

Начинаем работать с requests

Content

Disable ssl certificate verification

Manual ssl verification

Python – проверка ssl-сертификатов с python –

Python requests throwing sslerror

Tutorial & usage¶

Аутентификация

Заголовки

Инспектируем отправленный запрос

Использование механизма сессий (session)

Код состояния запроса (status codes)

Количество повторов запроса

Объект сессии session

Ответ (response)

Параметры строки запроса (query string parameters)

Производительность

Тайм-ауты timeouts

Заключение