Fix 302 redirect

* lisp/url/with-url.el (with-url--process-reply): Get 302 redirect
method right.

Update with-url branch and rename to with-fetched-url

Revert "Revert "Give better errors in signing failures in Gnus""

This reverts commit 42141da5b0885b199636524c1e57f08ee1723aea.

This patch was reverted in error.  I misinterpreted an email saying that
it didn't work, but apparently it worked as it should.

Make DISCARD-COMMENTS in `libxml-parse-{html,xml}-region' obsolete

* doc/lispref/text.texi (Parsing HTML/XML): Mention that
discard-comments is obsolete.

* lisp/xml.el (xml-remove-comments): New function (bug#27178).

* src/xml.c (Flibxml_parse_html_region): Clarify what
DISCARD-COMMENTS actually does, and say that the parameter is
obsolete.
(Flibxml_parse_xml_region): Ditto.

Merge from origin/emacs-26

5a6bb01 (origin/emacs-26) Fix building etc/DOC in the MSDOS port
274c979 * lisp/select.el (gui-get-selection): Doc fix.
ad731b0 ; * doc/lispref/display.texi (Temporary Displays): Fix typos.
f1450e9 Complete documentation of syntax flags by adding `c'
6bdcaec Fix typos and minor wording issues in ELisp manual
febac27 Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emac...
6c2e21e Avoid segfault in processes of type 'pipe'
60e10c5 Remove repetitions in documentation strings
208e752 * lisp/image.el (image-load-path): Doc fix.
92e0fd8 ; * etc/NEWS: Remove a FIXME.  (Bug#31122)

Conflicts:
etc/NEWS

Change the default From style to `angles' and make obsolete

* lisp/gnus/message.el (message-from-style): Make `angles' the
default (bug#29309) and mark as obsolete.

* lisp/mail/sendmail.el (mail-from-style): Ditto.

Make image-mode respect `imagemagick-types-inhibit'

* lisp/image-mode.el (image--imagemagick-wanted-p): New function
(bug#29584).
(image-toggle-display-image): Use it to see whether we want to use
imagemagick.

Revert "Give better errors in signing failures in Gnus"

This reverts commit ef2059e877d104bfe5abd24df05bb09c7295e4fa.

Apparently this test triggered both when signing was successful
and unsuccessful (bug#26298).

Fix building etc/DOC in the MSDOS port

* msdos/sed1v2.inp (lisp.mk): Fix escaping in Sed commands.

Tweak mailcap precedence so that Emacs values are heeded better

* lisp/net/mailcap.el (mailcap-parse-mailcaps): Place entries from
system-wide mailcap files after the values that are distributed
with Emacs, and the ones from ~/.mailcap before.
(mailcap-parse-mailcap): Take an optional `after' parameter to
achieve that.
(mailcap-add-mailcap-entry): Ditto.

Subject: Fix circular dependency for mm-decode

* lisp/gnus/mm-decode.el: Do not require shr.el at the top
of the file; `mm-shr' already requires shr.el in its body, and
this function is the only `mm-convert-shr-links' caller (Bug#31151).

* lisp/select.el (gui-get-selection): Doc fix.

; * doc/misc/url.texi (file/ftp): Remove stray '@end defopt'.

Do not destructively modify interprogram paste

* simple.el (kill-new, current-kill): Non-destructively reverse list
returned by interprogram-paste-function. (bug#31097)

Don't bind image commands on eww non-image links

* lisp/net/eww.el (eww-link-keymap): Only inherit the normal shr
keymap.
(eww-image-link-keymap): New keymap with the image bindings.
(eww-tag-a): Use the appropriate one on links (bug#30148).

Move utility function to mm-util.el

* lisp/gnus/mm-util.el (mm-images-in-region-p): Move from
mm-decode.el and renamed, since it is generally useful.

Make the url file: handler be less clever

* doc/misc/url.texi (file/ftp): Remove mention of the
url-directory-index-file variable, which is no longer consulted.

* lisp/url/url-file.el (url-file-build-filename): Remove the DWIM
code from the file: handler (bug#30195): It would look for
index.html in a directory if we asked it to fetch the directory.
Determining what to do in a directory should be left up to the
programs that use this low-level library.  If the library decides
to load a different file than we specified, then things start
falling apart, as demonstrated by this bug report.

Don't bind image commands on non-image links in Gnus

* lisp/gnus/mm-decode.el (mm--images-in-region-p): New utility
function.
(mm-convert-shr-links): Only use the shr image map on links that
contain images.  This avoids binding commands like `r' on links
that don't need it.

Revert "Add colors to faces that lack them."

This reverts commit 16748a5f6bd57ec0967ecb5e14ffe8af5f43d888.

From the discussion on the ding mailing list, I said:

I think the colours should be reverted back to what they were before the
change.  Normal text should be white on black (if you have a dark
background), and colours should be used to emphasise or de-emphasise
certain text.  Following that principle, normal Gnus groups should be
white, not ... er...  what are they now?  Teal?

Tweak the fonts applied to shr indentation

* lisp/net/shr.el (shr-fill-line): Don't use fonts (especially
link fonts) over indentation, because that's ugly..

Further tweak point placement on gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Place point in the empty space between headers and body.

Tweak point placement in *Group* on `Q' exit

* lisp/gnus/gnus-sum.el (gnus-summary-exit-no-update): When
exiting the summary buffer with `Q', move point to the next unread
group (which is the same thing that happens on `q' exit.)

Tweak point placement in gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Tweak where point is placed because when the user selects the
article buffer, it's probably to cite something or click on
something, and not do anything with the headers.

Compute erc line lengths correctly for utf-8 (etc.)

* lisp/erc/erc-backend.el (erc-split-line): Fold the lines
according to octet length, not the number of characters (bug#23047).

Clean up some defvoo doc strings

* lisp/gnus/nndiary.el: Remove "*" from doc strings from defvoo
elements (bug#23392).

* lisp/gnus/nndir.el: Ditto

* lisp/gnus/nndoc.el: Ditto.

* lisp/gnus/nnrss.el: Ditto.

* lisp/gnus/nnspool.el: Ditto.

* lisp/gnus/nntp.el: Ditto.

Further fix to eieio-persistent

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-validate/fix-slot-value):
  Make handling of hash tables and vectors recursive. This is
  necessary because the write process, in `eieio-override-prin1' is
  also recursive. With any luck, this will be the last fix of its
  kind. If that's true, cherry-pick to Emacs 26.2 later on.

Make nnimap parse pathological spam headers better

* lisp/gnus/nnimap.el (nnimap-transform-headers): Unfold certain
pathological IMAP headers more correctly (bug#25502).  Perhaps
this function should be re-implemented.

; * doc/lispref/display.texi (Temporary Displays): Fix typos.

Fix syntax error in emacs-mime.texi in last check-in

Prefer settings from ~/.mailcap over system and Emacs settings

* doc/misc/emacs-mime.texi (mailcap): Document the variable and
how mailcap chooses which viewer to use.

* lisp/net/mailcap.el (mailcap-prefer-mailcap-viewers): New variable.
(mailcap-mime-info): Use it.

Fix bug in shr-urlify introduced in previous patch

* lisp/net/shr.el (shr-urlify): Not all URLs have domains, so
check for that before doing IDNA.

Make shr support inline <div>s

* lisp/net/shr.el (shr-tag-div): Support display: inline; for
<div>, since that's a very common thing (bug#25588).

Notify the user a bit more before clicking IDNA links

* lisp/net/shr.el (shr-urlify): Show the puny-encoded domain name
in the mouseover string (bug#25600).

(nnimap-sequence): Add comment

* lisp/gnus/nnimap.el (nnimap-sequence): Add comment.

(url-http): Ensure that the referrer is all-ASCII

* lisp/url/url-http.el (url-http): Ensure that the referrer is all-ASCII.

gnutls.el now needs punycode

* lisp/net/gnutls.el (puny): Require punycode.

Make Unicode domain names work again in URL after recent changes

* lisp/net/gnutls.el (open-gnutls-stream): IDNA-encode hostnames
before passing them on to gnutls for verification.

* lisp/net/network-stream.el (network-stream-open-starttls): Ditto.

* lisp/url/url-http.el (url-http--get-referer): Be IDNA-aware.
(url-http-create-request): Don't de-Unicodify host names, because
they may be IDNA names (that are later encoded).

* lisp/url/url-util.el (url-domain): Be IDNA-aware when doing
domain name computations.

Complete documentation of syntax flags by adding `c'

* doc/lispref/syntax.texi ("Syntax Table Internals"): Add entry for `c'
as `(1 lsh 23)'.

Fix typos and minor wording issues in ELisp manual

* doc/lispref/internals.texi (Writing Emacs Primitives):
* doc/lispref/display.texi (Temporary Displays): Fix typos.
* doc/lispref/text.texi (Filling, Changing Properties)
(Transposition): Clarify and fix typos.
* doc/lispref/positions.texi (Screen Lines): Improve wording.
* doc/lispref/modes.texi (Minor Mode Conventions)
(Font Lock Multiline): Fix typos.
* doc/lispref/variables.texi (Dynamic Binding Tips): Fix a
cross-reference.  Fix a typo.
* doc/lispref/sequences.texi (Sequence Functions): Fix typos.
(Bug#31143)

Update defcustom version for last patch to url-vars.el

* lisp/url/url-vars.el (url-lastloc-privacy-level): Update
defcustom version.

Use a separate history for the eww prompt

* lisp/net/eww.el (eww-prompt-history): A separate history
variable for the interactive eww prompt.
(eww): Use it.

Fix Bug#30246

* lisp/auth-source.el (auth-source-secrets-search): Do not
suppress creation.
(auth-source-secrets-create): Implement it.  (Bug#30246)

* lisp/net/secrets.el (secrets-debug): Set default to nil.

* test/lisp/auth-source-tests.el (secrets): Require it.
(auth-source-test-secrets-create-secret): New test.

Change gnutls-verify-error to be first-match

* doc/misc/url.texi (Customization): Describe the new user
option url-lastloc-privacy-level.

* lisp/net/eww.el (eww-render): Set url-current-lastloc to the
url we are rendering, to get the referer header right on
subsequent requests.

* lisp/url/url-http.el (url-http--get-referer): New function
to determine which referer to send, if any, considering the
users privacy settings and the target url we are visiting.
(url-http-referer): New variable keeping track of the referer
computed by url-http--get-referer
(url-http-create-request): Use url-http-referer instead of the
optional argument to set up the referer header.  Leave
checking of privacy settings to url-http--get-referer.
(url-http): Set up url-http-referer by using
url-http--get-referer.

* lisp/url/url-queue.el (url-queue): New struct member
context-buffer for keeping track of the context a queued job
started from.
(url-queue-retrieve): Store the current buffer in the queue
object.
(url-queue-start-retrieve): Make sure url-retrieve is called
in the context of the original buffer, if available.

* lisp/url/url-util.el (url-domain): New function to determine
the domain of a given URL.

* lisp/url/url-vars.el (url-current-lastloc): New variable to
keep track of the desired "last location" (referer header).
(url-lastloc-privacy-level): New custom setting for more
fine-grained control over how lastloc (referer) is sent to
servers (Bug#27012).

Make #anchors work again in eww

* lisp/net/eww.el (eww-render): When we have a #link link, then
url.el will say that we have a redirect to a non-#link link, so
get the anchor before url.el mangles the URL (bug#28441).
(eww-display-html): ... and don't get it here, because it's gone
by now.

Test URL: http://www.gnu.org/s/hyperbole/#summary

Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emacs into emacs-26

Avoid segfault in processes of type 'pipe'

* src/process.c (Fmake_pipe_process): Set up the decoding and
encoding buffers.  For the details, see
http://lists.gnu.org/archive/html/emacs-devel/2018-04/msg00295.html.

Doc fix after previous gnutls patch

* lisp/net/gnutls.el (gnutls-verify-error): Mention that the
matching is first-match (bug#29977).

Change gnutls-verify-error to be first-match

* lisp/net/gnutls.el (gnutls-boot-parameters): Convert to
first-match for gnutls-verify-error rather than any-match
(bug#29977).

Mention the new `shr-selected-link' face

Clean up the double Gnus section

When opening external links in eww, blink the link

* lisp/net/eww.el (eww-follow-link): Ditto.

* lisp/net/shr.el (shr-selected-link): New face (bug#25096).
(shr--blink-link): New function to blink links.
(shr--current-link-region): New utility function.
(shr-browse-url): Use it to blink external links.

Blinking the link allows the user to get immediate feedback that the
action has been performed.  Opening the external browser may take a
while, and may not be obvious that is going on.

Tweak nnimap sequence numbers to avoid reuse

* lisp/gnus/nnimap.el (nnimap-sequence): Start the sequence at a
higher number to avoid reusing the sequence number used by
`open-network-stream' (bug#30022).

Remove repetitions in documentation strings

* lisp/bindings.el (right-word): Remove repetition
(left-word): Likewise.

* lisp/image-mode.el (image-mode-as-hex): Likewise.

* lisp/cedet/semantic/tag-ls.el (semantic-tag-similar-p): Likewise.

* lisp/textmodes/reftex-vars.el (reftex-view-crossref-extra): Likewise

* lisp/gnus/gnus-art.el (gnus-article-prepare): Fix previous commit,
in which selecting the article window is not necessary (bug#25526).

Remove unused local variable

Treat 302 redirects as if they were 303 redirects

* lisp/url/url-http.el (url-http-parse-headers): Treat 302 as 303,
since this is what the standards recommend these days (bug#25703).
See https://en.wikipedia.org/wiki/List_of_HTTP_status_codes#3xx_Redirection

Make eww render <select> elements again

* lisp/net/eww.el (eww-tag-select): Actually render <select>
elements (bug#25703).

<label> shouldn't introduce a line break

* lisp/net/shr.el (shr-tag-label): Remove so that labels don't
break lines (because they shouldn't: They're usually part of a
selection interface) (bug#30557).

* lisp/gnus/gnus-art.el (gnus-article-prepare): Make sure the article
begins with the top of the header (bug#25526).

Tweak the eww readability function

* lisp/net/eww.el (eww-highest-readability): Require that the
readable bit is at least 100 words (bug#30445).

(dom-texts): Don't return contents of <script> as text

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/dom.el (dom-texts): Don't return contents of <script> as
text, because it isn't and makes reasoning about textual parts
more difficult.

Support list of default values in completing-read-multiple

* lisp/emacs-lisp/crm.el (completing-read-multiple):
Consider head of DEF argument when specified as a list,
as per completing-read-default. (bug#30072)

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/gnus/nnimap.el (nnimap-login): Allow anonymous logins
(bug#24704).

Copyright-paperwork-exempt: yes

Default message-forward-as-mime to nil

* doc/misc/gnus.texi (Summary Mail Commands): Ditto.

* doc/misc/message.texi (Forwarding): Note the new default.

* lisp/gnus/message.el (message-forward-as-mime): Default to nil
since it's been reported that many recipients can't read MIME
digest forwards (bug#24878).

Load w3m in Gnus if required

* lisp/gnus/gnus-art.el (gnus-article-show-images): Ensure that
w3m is loaded if the user requests that we use it.

Don't autoload function from w3m

* lisp/gnus/gnus-art.el (w3m-toggle-inline-images): Don't use
autoload for packages that may not be installed (bug#25604).

From: Lars Ingebrigtseb <larsi@gnus.org>

* lisp/gnus/gnus-sum.el (gnus-summary-limit-to-score): Allow limit
to articles that have a score below the stated number, too
(bug#30356).

message-forward-as-mime doc clarification

* lisp/gnus/message.el (message-forward-as-mime): Doc
clarification (bug#27714).

message-forward-ignored-headers doc clarification

* lisp/gnus/message.el (message-forward-ignored-headers): Doc
clarification (bug#27715).

Restore point in summary buffer after sorting

* lisp/gnus/gnus-sum.el (gnus-summary-sort): Keep point on the
current article when sorting (bug#30615).

nil is no longer an allowed value for mm-inline-text-html

* doc/misc/emacs-mime.texi (Display Customization): Remove the doc
for the nil case of mm-inline-text-html.

* doc/misc/mh-e.texi (HTML): Ditto.

* lisp/gnus/mm-view.el (mm-inline-text-html): If no
mm-text-html-renderer is specified, just insert the raw text
instead of erroring out (bug#30870).

Ensure that non-QRESYNC nnimap can proceed after a QRESYNC fail

* lisp/gnus/nnimap.el (nnimap-update-info): If we don't have a
start-article in the non-QRESYNC case, then the start has to be 1
(bug#23241).

Make it possible to exit Gnus without saving .newsrc.eld

* lisp/gnus/gnus-start.el (gnus-save-newsrc-file): Don't error out
here so that we can proceed with shutting down Gnus without saving
the .newsrc.eld file when it has been updated externally (bug#23761).

Make nnml save the .overview file when used as an expiry target

* lisp/gnus/nnmail.el (nnmail-expiry-target-group): Always pass in
the `last' parameter to the acceptance function so that backends
like nnml save the .overview file (bug#24499).  This may slow down
some use cases.

Clarify Gnus doc string

* lisp/gnus/gnus-cite.el (gnus-article-fill-cited-article):
Clarify doc string (bug#24578).

Elide XEmacs-relevant comment

* lisp/gnus/gnus-cite.el (gnus-article-fill-cited-article): Remove
mention of XEmacs, since we no longer support XEmacs.

Make message-simplify-recipients obsolete

* lisp/gnus/message.el (message-simplify-recipients)
(message-recipients-without-full-name): Made obsolete since
Message now simplifies all addresses by default.

Remove repetitions from recipient addresses in Message

* lisp/gnus/message.el (message--alter-repeat-address): New function.
(message-get-reply-headers): Use it to remove repetitions on the
form "foo@bar.com" <foo@bar.com>.

* lisp/image.el (image-load-path): Doc fix.

* etc/NEWS: Fix entry regarding automatic encryption of (Bug#31124) messages

; doc/misc/gnus.texi (Fancy Mail Splitting): Fix misplaced @item.

Add tests for buffer-base-buffer function (Bug#30905)

* test/src/buffer-tests.el (test-buffer-base-buffer-indirect)
(test-buffer-base-buffer-non-indirect): New tests for
`buffer-base-buffer'.

make-dist: fix bug with top-level ChangeLog

Problem reported by Glenn Morris in:
https://lists.gnu.org/r/emacs-devel/2018-04/msg00307.html
* make-dist (top_level_ChangeLog): New var.  Use it to link
top-level ChangeLog only when desired.

Support port number in Gnus X-Message-SMTP-Method header

* lisp/gnus/message.el (message-multi-smtp-send-mail): Try to parse
service as port number.  If it succeeds, use parsed number, else use
supplied service name as before (bug#24653).  (This only matters
on some operating systems.)

Gnus Group Mail Spliting on mailing-list headers

* texi/gnus.texi: Document the new `list' split abbreviation and
`match-list' group parameter (bug#25346).

* lisp/gnus-mlspl.el: Use the `list' abbreviation when the new
`match-list' group parameter is set to `t'.
The split regexp is modified to match either `@` or `.` as domain
separator to comply with RFC2919 IDs too.

* lisp/nnmail.el: Add new `list' split abbreviation matching common
mailing-list headers.

Tweak previous patch to respect quiet next group selection again

* lisp/gnus/gnus-sum.el (gnus-summary-next-article): Tweak
previous patch to be quieter if the user has requested `quietly'
next group selection.

Display "No more ... articles" on `n' in Gnus

* lisp/gnus/gnus-sum.el (gnus-summary-next-article): Display the
"No more"... messages if gnus-auto-select-next is nil and the user
has default messaging levels (bug#25582).

Rung new-news-hook from `M-g' in the Gnus summary buffer

* lisp/gnus/gnus-group.el (gnus-group-get-new-news-this-group):
Run `gnus-after-getting-new-news-hook' when doing `M-g' in the
summary buffer, too (bug#25892).  This makes `M-g' in both group
and summary buffers work more similar.

Copyright-paperwork-exempt: yes

Give better errors in signing failures in Gnus

* lisp/gnus/mml1991.el (mml1991-epg-sign): Give better error
messages when signing fails (bug#26298).

* lisp/gnus/mml2015.el (mml2015-epg-sign): Ditto.

Remove the Gmane backend from nnir

* lisp/gnus/nnir.el (nnir-engines): Remove Gmane backend, which no
longer exists.
(nnir-method-default-engines): Ditto.
(nnir-run-gmane): Removed function (bug#28234).

Heed switch-function argument in gnus-user-agent

* lisp/gnus/gnus-msg.el (gnus-msg-mail): Heed switch-action argument
when falling back to message-user-agent because Gnus is not
running (bug#28992).

Always rescale images in gnus-rescale-image

* lisp/gnus/gnus-util.el (gnus-rescale-image): Rescale images even
if we don't have a visible article buffer.  Reported and fix
suggested by Kevin Brubeck Unhammer.

Some minor Tramp changes

* lisp/net/tramp-sh.el (tramp-get-ls-command-with):
New defun, replacing ...
(tramp-get-ls-command-with-dired)
(tramp-get-ls-command-with-quoting-style)
(tramp-get-ls-command-with-w-option): Removed.
(tramp-do-file-attributes-with-ls)
(tramp-do-directory-files-and-attributes-with-stat)
(tramp-sh-handle-insert-directory): Adapt callees.

* lisp/net/tramp-smb.el (tramp-smb-errors):
Add "NT_STATUS_CONNECTION_RESET".

Don't kill off LibreOffice when selecting the next article in Gnus

* lisp/gnus/mm-decode.el (mm-keep-viewer-alive-types): Add the
media types that LibreOffice uses to the list, since we don't want
to kill off LibreOffice willy-nilly.

Doc fix for mm-keep-viewer-alive-types

* lisp/gnus/mm-decode.el (mm-keep-viewer-alive-types): Clarify doc
string.

; * etc/NEWS: Remove a FIXME.  (Bug#31122)

Merge from origin/emacs-26

c267421 (tag: emacs-26.1-rc1, origin/emacs-26) ; * ChangeLog.3: Update.
aa77415 * etc/AUTHORS: Regenerate.
c8ffca5 * lisp/files.el (kept-new-versions): Improve documentation st...
3a798f6 Fix a minor mistake in the ELisp manual
6afa868 ; * src/dispextern.h (struct it): Fix a typo in a comment.
5659b2f * lisp/files.el (find-file-literally): Doc fix.
9b24a79 Fix typos in doc strings

; Merge from origin/emacs-26

The following commit was skipped:

8dffaea Bump Emacs version to 26.1

Merge from origin/emacs-26

f674c89 ; * ChangeLog.3: Update.
80d868e * lisp/emacs-lisp/inline.el: Clarify apparent typos
9f54f28 ; * lisp/auth-source.el (auth-sources): Update the :version tag.

; Merge from origin/emacs-26

The following commit was skipped:

3573b4e Allow sexp customization type in auth-sources