Fix edebug instrumentation removing from advised functions

* lisp/emacs-lisp/edebug.el (edebug-remove-instrumentation): Handle
advised functions correctly.

Improve indexing of modifier keys

* doc/emacs/commands.texi (User Input): Add index entry for
the Alt key serving as Meta.
* doc/emacs/custom.texi (Modifier Keys): Add index entries for
Alt, Super, and Hyper modifier keys.  (Bug#38315)

Fix cursor display at EOL before extended face

* src/xdisp.c (extend_face_to_end_of_line): Make sure the
character position of the stretch glyph inserted to extend the
face is zero, as various other parts of the display code rely
on that.  (Bug#38330)

Fix and speed up en/decoding of UTF-8 strings

* src/coding.c (get_char_bytes, encode_string_utf_8)
(decode_string_utf_8): Fix commentary.
(encode_string_utf_8): Return the original ASCII string only
if NOCOPY is non-zero.
(decode_string_utf_8): Accept 2 additional arguments STR and
STR_LEN, which allow to pass the input text as a C string.
(make_string_from_utf8): Delegate the job to decode_string_utf_8.
* src/coding.h: Update the prototype of decode_string_utf_8.
* src/json.c (json_encode): Call encode_string_utf_8.

* lisp/minibuffer.el (completion-flex-nospace): Default to t.

help-follow-symbol now complains if no symbol found (bug#38248)

* lisp/help-mode.el (help-follow-symbol): Signal 'user-error' if
there's no symbol at POS.

* etc/NEWS: Document it.

Check gnus-mailing-list-groups in turn-on-gnus-mailing-list-mode

* lisp/gnus/gnus-ml.el (turn-on-gnus-mailing-list-mode): Check also
gnus-mailing-list-groups variable.

Make gnus-mailing-list-archive recognize https

* /lisp/gnus/gnus-ml.el (gnus-mailing-list-archive): Accept https in
regexp.

Unify docstrings of Gnus summary's copy/move/crosspost article functions

* lisp/gnus/gnus-sum.el (gnus-summary-copy-article)
(gnus-summary-crosspost-article): Make docstrings refer to
gnus-summary-move-article.

Refix conditional step clauses in cl-loop

* lisp/emacs-lisp/cl-macs.el
(cl--loop-bindings, cl--loop-symbol-macs, cl-loop):
Add cl--loop-conditions, remove cl--loop-guard-cond.
(cl--push-clause-loop-body): Apply clause to both cl--loop-conditions
and cl--loop-body
(cl--parse-loop-clause): Use cl--push-clause-loop-body.
* test/lisp/emacs-lisp/cl-macs-tests.el (cl-macs-loop-and-assignment):
Use docstring.
(cl-macs-loop-for-as-arith): Removed expected failure.
(cl-macs-loop-conditional-step-clauses): Add some tests (bug#29799).

Fix uses of inhibit-message in package.el

* lisp/emacs-lisp/package.el (package-generate-autoloads)
(package--compile, package--save-selected-packages): Don't use
'inhibit-message' to bind 'noninteractive' and 'save-silently',
since 'inhibit-message' already disables all messages.
(Bug#38264)

font-lock special attributes in python-mode

* lisp/progmodes/python.el (python-font-lock-keywords-level-2): Add
special attributes (bug#38318).

Give better error messages in image-convert

* lisp/image/image-converter.el (image-convert): Make
image-convert bug out earlier on a wrong IMAGE-FORMAT value
(bug#38310).

Make auth-source-pass-search understand port lists

For cases such as a typical IMAP Gnus setup, auto-source-pass-search
is passed a list of "port aliases" like (993 "imaps" "imap" "993"
"143") in hopes of finding a matching ~/.password-store entry.

This modification makes this library understand and unroll the port
list so that, i.e. "domain:993", "domain:imaps"", "domain:imap",
etc. are computed as potential suffixes.  Previously a nonsensical
string "domain:(993 imaps imap ...)" was returned.

* lisp/auth-source-pass.el
(auth-source-pass--generate-entry-suffixes): Allow PORT to be a list
of ports.

* lisp/emacs-lisp/smie.el (smie-next-sexp): Fix bug#38255

Handle the case where the token is not in `smie-grammar`, either because
the caller is making an error, or because it's a paren-like token that's
not handled in the grammar but directly via the syntax tables.

Make `C-c C-w' insert a signature even when overridden

* lisp/gnus/message.el (message-insert-signature): When called
interactively, look harder for a signature to insert (bug#38289).

* lisp/minibuffer.el (completions-common-part): Make it blue when possible

* lisp/files.el (locate-file-completion-table): Fix typo

Merge branch 'master' of git.sv.gnu.org:/srv/git/emacs

Add new variable to prevent flex completion style

matching spaces.  This allows flex style working smoothly with other
styles like helm using spaces.

* lisp/minibuffer.el (completion-flex-nospace): New user var.
(completion-flex-try-completion): Use it.
(completion-flex-all-completions): Same.

When verilog-auto-ignore-concat is true, also ignore parenthesized signals.

* lisp/progmodes/verilog-mode.el (verilog-auto-ignore-concat): When
`verilog-auto-ignore-concat' is true, also ignore parenthesized
signals.

Fix Gnus summary backtab keybindings to use button-based functions

* lisp/gnus/gnus-sum.el (gnus-summary-mode-map,
  gnus-summary-article-map): Backtab should call
  gnus-summary-button-backward, not gnus-summary-widget-backward.

Fix file notifications on macOS

* src/kqueue.c (Fkqueue_add_watch): Don't use encoded file
names in objects and APIs that expect decoded multibyte
strings.  (Bug#38287)

Fix a recent change in ELisp manual

* doc/lispref/objects.texi (Special Read Syntax): Fix wording
of the last change: don't document #' twice.  (Bug#38278)

Support 'vc-region-history' for Mercurial

* lisp/vc/vc-hg.el (vc-hg-region-history)
(vc-hg-region-history-font-lock, vc-hg-region-history-mode):
New functions.
(vc-hg-region-history-mode-map)
(vc-hg--log-view-long-font-lock-keywords)
(vc-hg-region-history-font-lock-keywords): New variables.
* lisp/vc/vc-git.el (vc-git-region-history): Update commentary.

* doc/emacs/maintaining.texi (VC Change Log): Add
'vc-region-history' to the table at beginning of node.  Update
the VCSes that support 'vc-region-history'.

* etc/NEWS: Mention the new feature of vc-hg.el.

Fix up previous #' documentation addition

* doc/lispref/objects.texi (Special Read Syntax): Add an xref for
the #' (bug#38278).

Document the #' syntax

* doc/lispref/objects.texi (Special Read Syntax): Document the #'
syntax (bug#38278).

Restore point after sending a message

* lisp/gnus/message.el (message-send-and-exit): Restore point
after sending (bug#38303).

Make pp-buffer into a command

* lisp/emacs-lisp/pp.el (pp-buffer): Make into a command (bug#38306).

Fix loading image-converter in the case where the type is passed in

* lisp/image.el (create-image): Load image-converter when
converting images (bug#38310).

Rewrite the image-convert doc string

* lisp/image/image-converter.el (image-convert): Clarify the
calling convention (bug#38310).

Hide quoted passwords with spaces in Authinfo

* lisp/auth-source.el (auth-source-netrc-looking-at-one): New
function, extracted from auth-source-netrc-parse-one.
(auth-source-netrc-parse-one, authinfo--hide-passwords): Use
auth-source-netrc-looking-at-one (bug#38311).

* lisp/net/tramp.el (tramp-unload-tramp): Do not enable ange-ftp.  (Bug#38025)

* lisp/image.el: Mouse-wheel scaling on images (bug#38187)

* lisp/image.el (image-mouse-increase-size)
(image-mouse-decrease-size): New commands.
(image-map): Bind C-wheel-down and C-mouse-5 to
image-mouse-decrease-size, C-wheel-up and C-mouse-4 to
image-mouse-increase-size.

* src/sysdep.c: Improve comment wording.

* etc/NEWS: Improve XDG_RUNTIME_DIR doc.

Add renaming of remote buffer file names to Tramp

* doc/misc/tramp.texi (Default User): Fix typo.
(Cleanup remote connections): Adapt arguments of
`tramp-cleanup-connection'.
(Renaming remote files): New node.
(Frequently Asked Questions): New item "How to save files when a
remote host isn't reachable anymore?".

* etc/NEWS: Add `tramp-rename-files' and `tramp-rename-these-files'.

* lisp/net/tramp-cmds.el (tramp-default-rename-alist)
(tramp-confirm-rename-file-names): New defcustoms.
(tramp-rename-read-file-name-dir)
(tramp-rename-read-file-name-init): New defsubsts.
(tramp-default-rename-file, tramp-rename-files)
(tramp-rename-these-files): New defuns.

* lisp/net/tramp-integration.el (ido, ivy): Integrate with them.

Make with-suppressed-warnings work for macros, too

* lisp/emacs-lisp/macroexp.el (macroexp-macroexpand): Pass the
macro/alias symbol on to byte-compile-warning-enabled-p so that
with-suppressed-warnings works for macros, too.

Remove info references to gmane web search

* doc/misc/gnus.texi (Foreign Groups, Web Searches, What is nnir?):
(Setting up nnir, Associating Engines, The imap Engine):
(Customizations): Remove references to gmane web search.

Expand coverage of unit tests for time-stamp

* test/lisp/time-stamp-tests.el: Remove redundant word "test"
from the names of all the tests.
(time-stamp-custom-time-zone, time-stamp-custom-pattern,
time-stamp-custom-inserts-lines, time-stamp-custom-count,
time-stamp-helper-safe-locals): New tests

Make .pdmp file more reproducible

Problem reported by Ulrich Müller
<https://lists.gnu.org/r/emacs-devel/2019-11/msg00757.html>
and diagnosed by Andreas Schwab
<https://lists.gnu.org/r/emacs-devel/2019-11/msg00774.html>.
* src/sysdep.c (maybe_disable_address_randomization):
Disable ASLR if any kind of dumping, instead of merely if
unexec dumping.  Omit first arg for simplicity; all uses changed.

* lisp/icomplete.el (icomplete-fido-kill): Unbreak yes-or-no-p usage

Discussed in the context of bug#19064, bug#17272.

Ensure Rmail summary is updated after editing a message

* lisp/mail/rmailedit.el (rmail-cease-edit): If this mbox file
has a summary, update the summary after editing.  (Bug#38193)

Fix updating members of zip archives

* lisp/arc-mode.el (archive-zip-case-fiddle): Change the
default to nil except on MS-DOS.  Update the doc string to
make clear that a non-nil value also affects updating the
archive.  (Bug#38260)

; Fix NEWS entry for network-lookup-address-info

Remember the full GTK font description

Remember the full font description instead of just the family so that
size/style/weight settings are preserved.

* gtkutil.c (xg_get_font) [HAVE_GTK3]: Use the pango font
description to set/get the current font (Bug#28901).

Don't error when comparing IPv4 and IPv6 addresses

* lisp/net/nsm.el (nsm-network-same-subnet): Compare lengths of
local-ip and ip; different lengths can never match.
(nsm-should-check): Chop port off end of address.

Allow eww to display exotic images like webp

* lisp/image.el (image-type): Allow passing in the image type.
(create-image): Make conversion work with data in addition to files.

* lisp/image/image-converter.el (image-convert-p): Allow taking
working on data in addition to files (bug#38036).
(image-convert): Ditto.
(image-converter--convert): Extend signature to say whether we're
getting a file or data.
(image-converter--convert-magick): Convert data.
(image-converter--convert): Ditto.

Strip "(fn...)" from output of `describe-mode' (bug#38222)

* lisp/help.el (help--doc-without-fn): New function.
(describe-mode): Use it.

Merge branch 'master' of git.sv.gnu.org:/srv/git/emacs

* lisp/org/org.el (org-mode): Add pcomplete-completions-at-point to capf.

This lets the normal `completion-at-point` and `complete-symbol`
use `pcomplete` for completion.

(org-mode-map): Leave M-TAB bound to the global default since
`pcomplete` is now obsolete.

* lisp/tab-line.el (tab-line-auto-hscroll): New defcustom (bug#37667)

(tab-line-auto-hscroll): Use this option in the function.

* lisp/vc/ediff-util.el: Set this-command to ediff-quit (bug#38219)

* lisp/vc/ediff-util.el (ediff-toggle-read-only, ediff-quit):
Set this-command to the same command after using y-or-n-p
that doesn't guarantee to keep this-command unchanged
to check it later for some contrived logic.

; Fix previous commit

Check for HAVE_GTK3 instead of a specific version

Our minimum GTK3 version is 3.10, the font filter functions appeared
in 3.2.

* gtkutil.c (xg_font_filter) [HAVE_GTK3]: Just check for HAVE_GTK3.
(xg_get_font) [HAVE_GTK3]: Same here.

* lisp/net/tramp.el (tramp-handle-file-regular-p): Improve error handling.

Fix cl-prettyexpand in the non-FULL case

* lisp/emacs-lisp/cl-extra.el (cl-prettyexpand): This function has
apparently not worked for at least a couple of decades
(bug#38206) unless supplied with a FULL parameter.  Make the FULL
parameter obsolete and make the function always work as it did
with a non-nil FULL.

Merge branch 'scratch/so-long-updates'

lisp/so-long.el: Refactor menu action commands

* lisp/so-long.el (so-long-menu): Call `so-long' with an ACTION
argument instead of using `so-long-menu-item-replace-action'.
(so-long-menu-item-replace-action): Remove the deprecated function.

* test/lisp/so-long-tests/so-long-tests.el
(so-long-tests-so-long-menu-item-replace-action): Update the test.

* lisp/so-long.el (so-long): Firstly revert the existing action, if any

This makes `so-long' consistent with the action commands in the menu.

If multiple actions were to be layered on top of one another, we would
lose the ability to revert to the normal state.  Custom actions
combining multiple other actions can be defined if necessary.

lisp/so-long.el: Use (interactive "@") for menu commands

* lisp/so-long.el (so-long-menu, so-long-menu-item-replace-action)
(so-long-revert): Use interactive code "@", replacing all uses of
`so-long-menu-click-window'.  This approach leaves the window selected
afterwards, whereas the old code did not; but that is not a problem.
(so-long-menu-click-window, so-long-menu-item-revert): Remove the
deprecated functions.

* test/lisp/so-long-tests/so-long-tests.el
(so-long-tests-so-long-menu-item-replace-action): Update the test.

Co-authored-by: Phil Sainty <psainty@orcon.net.nz>

; * lisp/so-long.el: Use declare-function nearer the code that needs it

; * lisp/so-long.el: Use function quoting in example configuration

; * lisp/so-long.el: Delete redundant :group declarations

Refer to (elisp) Common Keywords:

> If this keyword is missing from a customization item, it’ll be
> placed in the same group that was last defined (in the current file).

Remove the error-out test for with_harfbuzz

* configure.ac (HAVE_HARFBUZZ): Remove the check for explicit
harfbuzz -- have_harfbuzz defaults to "yes", so we have no way of
checking whether the user really asked for it, apparently.

* lisp/simple.el (process-file): Clarify doc string.

* lisp/tmm.el (tmm-add-one-shortcut): Use dolist

* lisp/subr.el (read-char-from-minibuffer, y-or-n-p): Remove discard-input.

(do-after-load-evaluation): Replace run-with-timer with run-with-idle-timer
to give a chance for the minibuffer to handle initial events before sit-for.
https://lists.gnu.org/archive/html/emacs-devel/2019-11/msg00581.html

Auto-scrolling in tab-line (bug#37667)

* lisp/tab-line.el (tab-line-auto-hscroll): New function.
(tab-line-format): Use tab-line-auto-hscroll.

Error out on --with-harfbuzz without HarfBuzz support

* configure.ac: Error out if the user says --with-harfbuzz, but
HarfBuzz isn't available.

Handle FC_CHARCELL in xftfont_open

* src/xftfont.c (xftfont_open): FC_CHARCELL is apparently an alias
for FC_DUAL used in some east Asian fonts (bug#35079).  Modelled
after a patch suggested by Kenichi Handa.

Support more font weight values on MS-Windows

* src/w32font.c (w32_to_fc_weight): Support a few more weight
values, for compatibility with the GTK font selection widget
(see gtkutil.c:XG_WEIGHT_TO_SYMBOL).  (Bug#24226)

Compilation Mode: Fix arrow handling when compilation-context-lines is t

In particular, fix some exception occurrences, fix handling of a Compilation
Mode buffer being displayed in several windows, and fix the margin when
temporarily displaying a different buffer in a window, then returning to the
compilation mode buffer.  The fix is relevant for frames without fringes,
e.g. tty frames.

* lisp/progmodes/compile.el: (compilation-set-window): Always set point to
(parameter) MK.
(compilation--set-up-margin, compilation--tear-down-margin): New functions.
(compilation--set-up-arrow-spec-in-margins)
(compilation--tear-down-arrow-spec-in-margins): Renamed by introducing -- and
pluralising margin to margins.  Handle the margins in _all_ windows displaying
the pertinent buffer by using get-buffer-window-list.  In ...--set-up-... add
compilation--set-up-margin to window-buffer-change-functions.  In
...--tear-down-... remove the hook functions added in ...--set-up-....

Make ido-read-file-name respect ido-read-file-name-non-ido more

* lisp/ido.el (ido-read-file-name): Respect
ido-read-file-name-non-ido in the file-directory-p case, too
(bug#38231).

Make tables more resistant to major mode changes

* lisp/textmodes/table.el (table--put-cell-face-property)
(table--remove-cell-properties): Ensure that we don't lose the
table face when switching from buffers with font locking to ones
without (or vice versa) (bug#35481).

Make bibtex-parse-keys more robust

* lisp/textmodes/bibtex.el (bibtex-parse-keys): Protect against
bugging out just when starting almost-empty bibtex files
(bug#30112).

; Grammar in simple.el doc strings and comments

* lisp/simple.el: Improve the English grammar in some doc strings
and comments.

* lisp/tab-bar.el: Add missing arg.

* lisp/tab-bar.el (tab-bar-list-next-line)
(tab-bar-list-prev-line): Add missing interactive spec for prefix arg.

* lisp/mouse.el (mouse-buffer-menu-mode-groups): Add "Git" regexp
to match "Git-Region-History" mode name for "Version Control" group.

* lisp/simple.el (eval-expression-print-maximum-character): Use choice type.

https://lists.gnu.org/archive/html/emacs-devel/2019-11/msg00433.html

* lisp/dired.el (dired-dwim-target): Add choice dired-dwim-target-next-visible

* lisp/dired-aux.el (dired-dwim-target-next): Add arg ALL-FRAMES.
(dired-dwim-target-next-visible): New function.

* doc/emacs/dired.texi (Operating on Files): Describe function value
of dired-dwim-target.  (Bug#35385)

Fix display of R2L text

* src/xdisp.c (extend_face_to_end_of_line): Fix padding of R2L
screen lines with stretch glyph on the left.  (Bug#38233)

Fix moving files with duplicate names to trash-can

* lisp/files.el (move-file-to-trash): Fix file name in
trash-can when another deleted file under the same name is
already stored there.  (Bug#37922)

Copyright-paperwork-exempt: yes.

Do not report move frame events for tooltip frames (Bug#38213)

* src/w32term.c (w32_read_socket):
* src/xterm.c (handle_one_xevent): Do not report move frame events
for tooltip frames (Bug#38213).

tex-mode: paragraph separator groups text and comments

* lisp/textmodes/tex-mode.el (latex-mode): Don't wrap text with
leading spaces into preceding comments (bug#38152).

Copyright-paperwork-exempt: yes

Don't move point on undefined keystrokes in the article buffer

* lisp/gnus/gnus-art.el (gnus-article-read-summary-keys): Don't
move point on undefined commands (bug#38227).

Make button-1 work on all Gnus buttons

* lisp/gnus/gnus-icalendar.el (gnus-icalendar-insert-button):
* lisp/gnus/gnus-art.el (gnus-insert-mime-button)
(gnus-mime-display-alternative, gnus-insert-prev-page-button)
(gnus-insert-next-page-button)
(gnus-insert-mime-security-button): Make button-1 work on all the
Gnus buttons (bug#38144).

Make it clear what edebug-remove-instrumentation offers

* doc/lispref/edebug.texi (Instrumenting): Reword the description
of the edebug-remove-instrumentation command.

Port new float-scaling code to Solaris

* src/floatfns.c (double_integer_scale): Simplify, so that the
function works when (FP_ILOGBNAN == INT_MAX && FP_ILOGB0 == INT_MIN),
as on Solaris.

; * lisp/so-long.el: Silence byte-compiler warnings

Make icomplete-tidy-shadowed-file-names less aggressive

When using this option and editing input, some transient situations
may arise that lead to file-name shadowing, but that shouldn't
necessarily lead to auto-delete behaviour, which will be suprising.

In '/foo/x/bar', if the user deletes the 'x', shadowing occurs, but
probably shouldn't.  So, somewhat like ido-mode, only auto-tidy
shadowed file names if the user is inserting text at end of input.

* lisp/icomplete.el (icomplete-exhibit): Check this-command.
(icomplete-tidy-shadowed-file-names): Tweak docstring.

* lisp/progmodes/perl-mode.el (perl-calculate-indent): Indent qw(...)

Fix initialization of `state`.
Special-case `qw(...)` because we do want to indent its contents.

Used magic-fallback-mode-alist to detect .doc files (Bug#20891)

This avoids running doc-view-mode on files that are actually text
files.

* lisp/files.el (auto-mode-alist): Don't use doc-view-mode-maybe
for .doc (but continue to do so for .docx).
(magic-fallback-mode-alist): Add signature for .doc files.

Improve indexing of function doc string conventions

* doc/lispref/functions.texi (Function Documentation): Improve
indexing (bug#38158).

Port hexdigit init to non-GCC + pdumper

The old code assumed that hexdigit initialization (needed by
non-GCC) could be done in syms_of_character, but that is no longer
true with pdumper.  Instead, simplify hexdigit init so that it can
be done statically on all C99 platforms.  Problem discovered on
Solaris 10 sparc + Oracle Solaris Studio 12.6.
* src/character.c (hexdigit): Add 1 to every value; all uses
changed.  This simplifies the initialization so that it can be
done statically on any C99 compiler.  hexdigit is now always const.
(syms_of_character): Omit no-longer-necessary initialization.
* src/character.h (HEXDIGIT_CONST, HEXDIGIT_IS_CONST):
Remove.  All uses removed.

Improve documentation of 'add-variable-watcher'

* doc/lispref/variables.texi (Watching Variables): Clarify the
documentation of 'add-variable-watcher' and fix markup.

* src/data.c (Fadd_variable_watcher): Clarify the doc string.
(Bug#38205)

Avoid using subr-x function

* lisp/vc/vc-hg.el (vc-hg-retrieve-tag): Avoid using subr-x
function (bug#38216).

In 'dframe-frame-mode' avoid 'switch-to-buffer' (Bug#37840)

* lisp/dframe.el (dframe-frame-mode): Use 'set-window-buffer'
instead of 'switch-to-buffer’ to avoid that
'switch-to-buffer-obey-display-actions' butts in (Bug#37840).

lisp/vc/vc-hg.el: Don't pass empty string to hg update

* lisp/vc/vc-hg.el (vc-hg-retrieve-tag): Don't pass empty name to
`hg update` (bug#38216).

Fix minor formatting issue in isearch-forward documentation

* lisp/isearch.el (isearch-forward): Doc string formatting fix
(bug#38207).

Make edebug-remove-instrumentation remove macro instrumentation

* lisp/emacs-lisp/edebug.el (edebug-remove-instrumentation):
Macros can also have edebug instrumentation, so remove that as
well (bug#38195).